生物制药智能运维系统：AI与GMP合规的融合实践
2026/7/25 10:31:50
本文整理自 AICon 上海分享「阿里AI红队 - REAL智能体统一风险矩阵与自动化红队实践」（演讲者：宋奇钊），通过AI音视频总结工具Ai好记进行视频转文字整理，以下为精炼整理后的内容。
AI智能体的安全风险正在爆发
智能体（Agent）正从简单的Chatbot快速演变为具备工具调用、沙箱执行、自主决策的复杂系统。这种进化带来一个严峻的问题：安全风险的范围和量级被数倍放大。
传统软件中的一个小问题——比如一个未鉴权的API——在Agent场景下，可能因为Agent的自主执行能力而被放大为「接管整个云环境」的严重漏洞。Agent会主动去调用这个API，去获取数据，去执行操作，而不会像人类一样判断「这该不该做」。
阿里AI红队的调研数据显示：当前智能体的安全风险高度集中，指令注入和基础设施缺陷两类问题占总风险的87%。
REALMatrix：三维风险矩阵
传统的安全风险清单是扁平的——列出了几十上百种风险，但问题是当风险快速变化时，清单永远跟不上。阿里AI红队提出的解决方案是一个三维坐标系，把风险放在三个维度上坐标化：
维度一：原因（Reason）
问题发生的根源，分为四类：
| 原因 | 说明 | 典型场景 |
|---|---|---|
| 指令注入 | 攻击者通过输入诱导Agent执行非预期操作 | 提示词注入、间接注入 |
| 幻觉偏差 | 模型输出虚假信息导致错误决策 | 幻觉生成的API调用 |
| 基建缺陷 | 基础设施层面的安全漏洞 | 未鉴权的API、权限配置错误 |
| 功能滥用 | Agent功能被用于非预期目的 | 越权访问、数据窃取 |
维度二：影响（X-Effect）
问题导致的后果：
- 机密性：数据泄露、凭证窃取
- 完整性：数据篡改、系统被控制
- 可用性：服务中断、资源耗尽
- 无害性：生成有害内容、诱导用户风险行为
维度三：层级（Layer）
问题发生的系统层面：
| 层级 | 说明 | 安全关注点 |
|---|---|---|
| 交互层 | 用户与Agent的界面 | 提示词注入、输出安全 |
| 认知层 | 模型的推理和决策 | 幻觉、偏见、恶意诱导 |
| 执行层 | Agent的工具调用和操作 | API鉴权、沙箱逃逸 |
| 基础设施层 | 底层运行环境 | 供应链攻击、容器安全 |
风险坐标化的优势
任何一个安全风险都可以表示为 (R, X, L) 的三维坐标。这样做的好处：
- 体系化覆盖：任何新的风险都能找到它在矩阵中的位置，不会遗漏
- 统一度量：不同智能体产品的风险可以横向对比
- 趋势洞察：看坐标分布就知道安全重心在哪一层、哪类原因集中
攻击路径的多样性
智能体时代的攻击路径比传统软件丰富得多：
纵向穿透
攻击从交互层开始，逐层向下穿透：
用户输入 → 交互层（指令注入）→ 认知层（诱导决策）→ 执行层（调用API）→ 基础设施层（获取权限）在这个过程中，每一层都放大了攻击的面和影响。
横向供应链攻击
攻击者不直接攻击目标系统，而是通过污染其依赖的组件来间接攻击。一个典型案例：攻击者往npm包中植入后门，当Agent使用这个包时，后门就被触发。
这种攻击在Agent场景下尤其危险——因为Agent会自动拉取、安装和执行代码，供应链上的任何一个环节被污染，都会在毫秒级内触发。
自动化红队实践：「Agent测Agent」
面对海量测试需求，人工渗透测试完全跟不上开发速度。阿里AI红队的解决方案是——用Agent来检测Agent的安全漏洞。
核心架构
自动化红队系统由几个组件构成：
| 组件 | 职责 |
|---|---|
| 逆向工程模块 | 自动分析目标应用的结构，梳理功能边界 |
| UI模型辅助 | 在无法完全分析时，使用UI模型辅助点击和交互 |
| 环境模拟池 | 构建虚假应用（假微信、假支付宝）+ 云手机/云桌面池 |
| 多轮判读引擎 | 对不稳定的执行结果进行统计分析和多轮验证 |
测试流程
目标Agent接入 → 逆向分析架构 → 构建攻击模型 → 自动化执行攻击 → 判读结果 ↓ 发现漏洞 → 归档到REALMatrix ↓ 未发现 → 调整攻击策略继续挑战与应对
| 挑战 | 应对方案 |
|---|---|
| Agent形态多样（云端/移动端/桌面端） | 云手机+云桌面池，多种环境适配 |
| 多为黑盒/闭源 | 逆向工程+UI模型辅助+行为画像 |
| 执行结果有随机性 | 多轮统计，结合脚本+LLM+人工判读 |
| 测试环境难以模拟 | 构建虚假服务，模拟真实业务场景 |
安全重心的U型迁移
阿里AI红队观察到一个规律——AI安全的重心正在经历一个U型迁移：
初期 现在 未来 │ │ │ ▼ ▼ ▼ 内容安全 ──→ 基础设施安全 ──→ 模型内生安全 (防说错话) (围住做错事) (盯住自主决策)这个规律的意思是：
- 初期：大家关注的是模型会不会输出有害内容（对齐问题）
- 现在：随着Agent普及，基础设施安全成为主要矛盾（权限、鉴权、供应链）
- 未来：当基础设施加固之后，攻防将回到模型内部的认知和意图安全——如何防止模型在自主决策时被恶意诱导或产生有害推理
对安全团队来说，理解这个迁移规律有助于提前布局：现在的重点是基础设施安全，但模型内生安全的研究不能停。
对企业引入智能体的安全建议
内部权限管控：高权限的Agent工具被普通员工滥用风险极高。建议对Agent的能力进行分级，敏感操作设置多人审批。
误操作防护：Agent错误理解指令可能导致不可逆的数据丢失。常见的例子——Agent收到「清理临时文件」的指令，结果把整个服务器的/tmp目录清空了。需要在执行层设置沙箱和审计。
供应链安全：Agent依赖的第三方组件需要经过安全检查，建立白名单机制，避免被供应链攻击渗透。
建立统一的度量体系：参考REALMatrix，把不同Agent产品的风险放在同一坐标下来衡量，方便对比决策。
FAQ
Q：REALMatrix是开源的吗？
A：REALMatrix是阿里AI红队提出的框架，当前主要供内部使用，可以参考其思路建立自己的风险矩阵。
Q：自动化红队系统能替代人工渗透吗？
A：不能完全替代。自动化系统适合大规模的日常检测和已知类型漏洞的发现。深度、复杂的攻击链发现仍然需要人工专家的参与。
Q：小团队做AI Agent安全应该从哪里入手？
A：从最基础的做起——API鉴权检查、提示词注入测试、权限最小化。不一定要先建自动化红队系统，先把基础安全防线建立起来。
以上内容由 Ai好记 转录整理。
Ai好记是一款音视频转图文笔记的AI音视频总结工具，支持解析B站、抖音、小红书、小宇宙等平台链接及本地音视频文件，转录后自动生成要点总结、思维导图和结构化笔记等内容，帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。