文章主要内容和创新点
主要内容
本文聚焦大型语言模型(LLM)应用的供应链风险,指出LLM系统并非独立模型,而是依赖预训练模型、第三方库、数据集和基础设施等组成的复杂供应链。现有风险评估多局限于模型或数据层面,缺乏对整个供应链的系统分析,且缺乏支持此类研究的基准数据集。
为此,研究团队构建了首个全面的基准数据集LLMSCBench,涵盖3859个LLM应用、109211个模型、2474个数据集、8862个库及其依赖关系,并从公共漏洞数据库中提取了1555个风险相关问题(应用50个、模型325个、数据集18个、库1229个)。基于该数据集的实证研究揭示:LLM应用存在复杂且深度嵌套的依赖关系,供应链中普遍存在显著漏洞,亟需更 robust的安全与隐私实践。最后,文章为研究者和开发者提供了切实可行的建议,以指导安全、可信的LLM系统开发。
创新点
- 提出LLMSCBench基准数据集:首个涵盖LLM应用、模型、数据集、库及其风险问题的数据集,支持LLM供应链风险评估研究。
- 构建细粒度依赖关系:明确基础组件(直接用于应用的模型、数据集、库)与依赖组件(基础组件所依赖的其他元素)的依赖关系,为供应链分析和风险传播研究提供支撑。
- 系统探索性研究:基于LLMSCBench分析了供应链的依赖结构和风险特征,揭示了LLM应用的复杂依赖模式和风险分布,为相关研究和实践提供了可操作的见解。