摘要
AI 系统进入高风险生产环境后，失效常呈长尾与对抗诱导特征，平均指标盖不住这些危险，于是分出防守的 AI 安全与进攻的红队测试。AI 安全用鲁棒性、监控、对齐、系统安全四道防线兜底，红队测试以攻击者视角冲击越狱、提示注入、内容安全三类威胁，把风险变成可比较、可回归的数字，但风险只能降不能除，过了红队也不代表绝对安全。
关键词：AI安全；红队测试；鲁棒性；对齐；越狱；提示注入；HarmBench；评测指标
1 核心定义与安全域划分
1.1 基本概念
AI安全（AI Safety）是防范人工智能系统在开发、部署与运行全生命周期中引发事故、滥用或有害后果的跨学科领域。事故指模型在无对手介入下因目标误设或分布偏移而偏离设计意图，滥用指恶意行为者刻意利用模型能力造成危害，有害后果指部署外溢到社会层面的系统性风险[1]。AI安全关注系统会不会违背意图，AI安全防护（AI Security）关注系统能否被非法侵入，二者互补，共同构成完整的AI风险治理视野[1]。
红队测试源自传统网络安全，指以攻击者视角对目标系统主动对抗探测以暴露缺陷。在大语言模型语境下，它由人类专家、自动化脚本或具备攻击能力的语言模型发起，通过构造对抗性输入触发失败模式，再把发现反馈到训练与部署形成闭环。Anthropic 更将红队攻击用例公开，累计发布逾 38961 条真实样本供社区分析[4]。
1.2 四大风险类别
机器学习安全可分为四个相互嵌套的类别，类似安全工程的“瑞士奶酪模型”——多层防御叠加阻挡单点失效[1]。表1 给出各类别的关注点、典型问题与防御方向。
| 类别 | 关注点 | 核心目标 | 典型问题 | 防御方向 |
|---|---|---|---|---|
| 鲁棒性 | 抵御危险 | 在分布偏移与对抗扰动下维持稳定表现 | 对抗样本、后门触发、长尾事件崩塌 | 对抗训练、认证防御、OOD 泛化 |
| 监控 | 识别危险 | 运行时持续捕捉异常行为与恶意使用 | 不确定性估计失效、后门潜伏 | 不确定性量化、异常检测、可解释性 |
| 对齐 | 降低模型固有危险 | 让模型实际追求的目标契合设计者意图 | 奖励黑客、欺骗性对齐、奉承倾向 | RLHF、宪法式训练、可扩展监督 |
| 系统安全 | 降低系统性危险 | 处理部署环境与社会条件带来的集体风险 | 攻防失衡、机构决策失灵、逐底竞争 | 网络防御、机构治理、部署前承诺 |
表1 机器学习安全四大类别的关注点与防御方向
四者的逻辑分工可概括为：对齐解决“模型想不想做坏事”，鲁棒性解决“能不能被诱导做坏事”，监控解决“做了能否被发现”，系统安全解决“整个生态会不会被拖垮”[1]。
1.3 三大威胁向量
大语言模型部署后，攻击者主要从三类通道诱导其越过安全边界，OWASP GenAI Security Project 将前两类纳入 LLM 应用十大风险清单[2]。表2 汇总三类威胁的攻击原理、典型手段与防御措施。
| 威胁 | 攻击原理 | 典型手段 | 主要危害 | 防御方向 |
|---|---|---|---|---|
| 越狱 | 精心构造输入以使模型完全无视自身安全协议[2] | 角色扮演、多轮诱导、GCG 梯度搜索后缀[3] | 生成武器制造、非法活动指导等有害内容 | 拒绝方向强化、分类器防御[7] |
| 提示注入 | 将恶意指令混入模型可见的输入流（用户消息、RAG 文档、工具返回等），覆盖或篡改系统提示[2] | 直接注入、间接注入、目标劫持、信息泄露 | 操纵 Agent 行为、劫持工具调用、泄露隐私数据 | 通道隔离、输入输出过滤、权限最小化 |
| 内容安全 | 模型在正常或对抗输入下生成违规有害内容 | 毒性续写、偏见触发、PII 泄露、训练数据反演 | 仇恨言论、歧视输出、隐私泄露 | 内容分类器、输出过滤、人工审核 |
表2 三大威胁向量的攻击原理与防御方向
概念上，越狱是提示注入的特例——OWASP 将其定义为“使模型忽略安全协议的提示注入形式”[2]；越狱与提示注入聚焦“绕过策略或夺取控制权”，内容安全聚焦“输出本身的合规性”，三者常在同一攻击链上叠加。提示注入的系统攻防可参见 Prompt注入与防范.md。
2 动机与传统安全评测的局限
传统机器学习评测以平均指标为核心，无法覆盖部署中真实发生的长尾失效与对抗性失效，由此形成系统性安全盲区。其瓶颈有三。其一，平均指标掩盖重尾风险：普通测试集上表现优异的模型，仍可能在罕见或对抗样本上灾难性失败，而这恰是高后果场景中代价最高的。其二，评测环境与部署环境脱节：静态基准假定无对手介入，真实部署却持续面对试图操纵模型的用户。其三，误以为能力提升自带安全：Anthropic 对 2.7B、13B、52B 三档规模的对比实验显示，RLHF 模型随规模增长确实越来越难被红队攻破，但其他类型模型呈平缓趋势，说明攻击难度并不随规模等比例提升，安全评测必须独立于通用能力评测单独开展[4]。
在此背景下，AI安全的突破体现为两条主线的合流。第一条是安全研究框架化：Hendrycks 等把零散安全议题收敛为鲁棒性、监控、对齐与系统安全四大类，使安全从口号变成可工程化的目标集合[1]。第二条是对抗视角引入评测：Perez 等与 Ganguli 等以语言模型辅助生成红队用例，并公开指令、数据与建模细节，证明“用模型发现模型缺陷”在规模化上可行[4][5]。两条主线的交汇点即红队测试——它不再是可选的附加环节，而是连接安全研究与生产部署的桥梁。
3 系统化红队测试框架
3.1 红队测试的四步闭环
红队测试并非一次性事件，而是嵌入 AI 开发生命周期的持续对抗循环，可拆解为发现、清单、迭代、报告四个阶段[4][5]。整体流程如图1 所示。
图1 红队测试的四步闭环流程
第一步为发现阶段，核心是威胁建模与攻击面枚举。红队需梳理模型的用户角色、输入通道、工具集成、检索数据源与 Agent 权限等所有可能被攻击的入口，明确要保护的资产与对手画像，并预先定义“什么算确认漏洞”。Anthropic 的红队报告指出，威胁模型的清晰度直接决定后续攻击的覆盖效率与发现质量[4]。
第二步为清单阶段，建立结构化攻击用例库。包括越狱模板、间接注入载荷、毒性触发语料、偏见探测集与 Agent 场景攻击等；OWASP LLM 十大风险作为覆盖度基线，用以确保每一类风险都有对应的测试项[2]。
第三步为迭代阶段，以自动化攻击驱动规模化发现。代表性技术包括：GCG 通过贪心坐标梯度搜索自动生成可迁移的对抗后缀，能从开源模型迁移到 ChatGPT、Claude 等黑盒模型[3]；Anthropic 的红队语言模型经零样本生成到强化学习，自动产出覆盖不同难度与多样性的测试用例[5]；微软开源的 PyRIT 进一步把上述攻击编排为模型与平台无关的自动化流水线，用于多模态生成式系统的规模化风险识别[8]。
第四步为报告阶段，输出可追溯的风险量化与修复建议。报告需涵盖失败模式分类、每类漏洞的攻击成功率、严重程度分级、可复现的攻击路径、根因分析与防御建议；报告结论回流到训练数据修订、系统提示调整与护栏加固，形成“红队—蓝队—训练”三方协同的持续对抗循环[4][5]。
3.2 数据驱动的量化评测指标
红队测试的产出需要转化为可比较、可回归、可追踪的数字，才能作为模型发布与部署的硬性门禁。HarmBench 作为该方向的标准化基准，统一了攻击方法分类、目标行为分类学与量化指标定义，使红队方法与模型防御得以在同一尺度下横向比较[6]。表3 汇总红队测试中的核心量化指标。
| 指标 | 形式化定义 | 判读方向 |
|---|---|---|
| 攻击成功率 ASR | A S R = # 成功诱导有害输出 # 总攻击样本 ASR = \frac{\#\text{成功诱导有害输出}}{\#\text{总攻击样本}}ASR=#总攻击样本#成功诱导有害输出 | 越低越好 |
| 过度拒绝率 URR | U R R = # 对良性请求的误拒 # 良性测试集 URR = \frac{\#\text{对良性请求的误拒}}{\#\text{良性测试集}}URR=#良性测试集#对良性请求的误拒 | 越低越好 |
| 毒性生成率 TGR | T G R = # 被判为有毒的输出 # 总生成样本 TGR = \frac{\#\text{被判为有毒的输出}}{\#\text{总生成样本}}TGR=#总生成样本#被判为有毒的输出 | 越低越好 |
| 失败检测率 DFR | 在重复采样或分布内–分布外对照实验中统计，无统一闭式公式 | 越高越好 |
表3 红队测试的核心量化指标及其判读方向
在指标之上，工程实践有三个要点。第一，多基准报告而非单点数字：不同基准对攻击强度的刻画差异显著，单一基准的优异成绩无法外推为整体安全水平，需在多基准、多温度、多采样下联合报告[6]。第二，ASR 与 URR 的权衡：更严格的拒绝策略压低 ASR 的同时会推高 URR、损害可用性，二者需联合优化而非单边压低[6]。第三，判官自身的可靠性：用 LLM 自动判定攻击是否成功时，判官也可能被对抗样本操纵，需对其校准并做对抗鲁棒性测试[6]。
4 价值与边界
4.1 标准化与防御验证的双重收益
红队测试的价值体现在两个层面。在评测标准化层面，HarmBench 以 18 种红队方法对比 33 个目标模型及防御，首次给出跨方法、跨模型的统一量化结论，使“哪个攻击更强、哪个模型更鲁棒”获得可复现的实证答案，并展示了攻防协同迭代的可行性[6]。在防御验证层面，它已是新型防御上线前的强制环节：Anthropic 的 Constitutional Classifiers 部署前接受超过 3000 小时人类红队，结果显示没有任何攻击报告能在更严格判定阈值下成功回答全部 10 个目标问题，验证了分类器防御对通用越狱的拦截能力[7]。可见红队测试既是“衡量模型”的尺子，也是“训练防御”的磨刀石。
4.2 主流红队实现方式对比
当前业界的红队测试实现方式呈现手工、半自动、全自动与混合协作并存的格局，表4 从成本、覆盖与可迁移性等维度给出对比。
| 实现方式 | 成本 | 覆盖能力 | 可迁移性 | 代表系统 |
|---|---|---|---|---|
| 人工红队 | 高 | 依赖专家经验，覆盖窄但深 | 低 | Anthropic 红队实践[4] |
| 红队语言模型 | 中 | 多样性可扩展 | 中 | Anthropic 红队 LM 方法[5] |
| 梯度优化攻击 | 中 | 自动化、可大批量生成 | 高，可跨模型迁移[3] | GCG[3] |
| 混合人机协作 | 中高 | 兼顾深度与规模 | 中高 | PyRIT 流水线[8] |
表4 主流红队测试实现方式对比
4.3 边界——量化风险可降不可除
红队测试的量化结论存在固有边界，使用时需明确三点。第一，通过红队不等于绝对安全：红队本质是对失败空间的采样式搜索，未发现漏洞只表示“在当前攻击能力与预算下未发现”，不能作为“模型无风险”的证明。第二，攻防是持续军备竞赛：GCG 等自动化攻击已证明其结果可从开源模型迁移到黑盒商用模型[3]，针对特定模型的结论会随攻击技术演进失效，需持续回归而非一次性认证。第三，防御存在量化成本：Constitutional Classifiers 虽显著提升鲁棒性，也带来可观测的过度拒绝代价[7]，任何防御都需在 ASR 与 URR 间做工程权衡。因此，红队测试的真实定位是把风险降到可量化、可接受阈值的持续工程过程，而非“消除风险”的终点。
总结
AI 安全守、红队测试攻，一个用四道防线让系统别闯祸，一个以攻击者视角反复找它闯祸，再把风险压成能比较、能回归的数字。可风险只降不除，过了红队也不等于绝对安全，安全是持续对抗，而非一劳永逸。
参考文献
[1] D. Hendrycks, N. Carlini, J. Schulman, and J. Steinhardt.“Unsolved Problems in ML Safety.”arXiv:2109.13916, 2021.
[2] OWASP Foundation.“OWASP Top 10 for LLM Applications v2.0.”genai.owasp.org, 2025.
[3] A. Zou, Z. Wang, N. Carlini, M. Nasr, J. Z. Kolter, and M. Fredrikson.“Universal and Transferable Adversarial Attacks on Aligned Language Models.”arXiv:2307.15043, 2023.
[4] D. Ganguli, L. Hernandez, D. Loveland, et al.“Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned.”arXiv:2209.07858, 2022.
[5] E. Perez, S. Huang, F. Song, et al.“Red Teaming Language Models with Language Models.”EMNLP, 2022.
[6] M. Mazeika, L. Phan, X. Yin, A. Zou, Z. Wang, N. Mu, et al.“HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal.”ICML, 2024.
[7] M. Sharma, M. Tong, T. Korbak, et al.“Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming.”arXiv:2501.18837, 2025.
[8] G. Lopez Munoz, T. Burt, R. Golshan, A. Venzke, and S. Bahl.“Announcing Microsoft’s Open Automation Framework to Red Team Generative AI Systems.”Microsoft Security Blog, 2024.
