AI 安全核心 20% — 先画出攻击面
一句话：AI 安全不是”模型够不够强”，而是攻击者能在哪个环节动手。训练数据、模型权重、输入接口、输出下游，四个口子守住三个，风险就降一个数量级。
🎯 这 20% 能解决哪些问题
| 常见困惑 | 本质 | 本页答案 |
|---|
| 模型离线测试 99% 准确率，上线就被骗 | 只测了自然样本，没测对抗样本 | 见「四类攻击」 |
| 对抗样本是不是黑客才关心 | 误判威胁模型 | 见「谁在攻击你」 |
| 加了对抗训练就一定安全 | 混淆经验鲁棒与认证鲁棒 | 见「防御三档」 |
| 开源模型直接用，会不会被投毒 | 忽视供应链 | 见「供应链五问」 |
| 大模型被绕开安全限制怎么办 | 只防模型不防提示层 | 见「LLM 特有风险」 |
一、先定威胁模型
| 攻击者能力 | 典型场景 | 关注点 |
|---|
| 黑盒查询 | 只能调用 API | 查询预算、限流、异常行为检测 |
| 灰盒 | 知道架构不知权重 | 迁移攻击 |
| 白盒 | 拿到权重 | 梯度攻击、后门植入 |
| 供应链 | 上游数据/权重/依赖 | 来源验证与签名 |
第一步永远是问：“对手是谁、能拿到什么、想达到什么效果”。没有威胁模型的安全方案，都是自我安慰。
二、四类攻击
| 攻击 | 做法 | 典型后果 |
|---|
| 对抗样本 | 加人眼不可见的扰动，使分类翻转 | 误判、绕过风控 |
| 后门攻击 | 训练时植入触发器，平时正常、遇触发器失常 | 定向误判、难以发现 |
| 数据投毒 | 污染训练数据 | 整体性能退化或定向偏差 |
| 模型窃取 | 大量查询拟合替代模型 | 知识产权流失、为攻击铺路 |
对抗样本的三个反直觉事实：
- 扰动可以极小（L∞ < 8/255）且人眼无感。
- 换一个模型往往照样有效（迁移性），所以”我的模型没被攻击过”不成立。
- 物理世界也能实现：贴纸、眼镜、光照即可触发。
三、防御三档
| 档次 | 手段 | 保证 | 代价 |
|---|
| 经验防御 | 对抗训练、输入预处理 | 只对见过的攻击有效 | 训练成本高、干净精度略降 |
| 认证防御 | 随机平滑、区间界传播 | 在半径内有数学保证 | 保证半径小、推理变慢 |
| 系统防御 | 限流、集成模型、人工复核 | 降低攻击收益 | 工程复杂、体验下降 |
对抗训练的三个坑：
- 只用一个攻击方法训练 → 换 AutoAttack 依旧崩。
- 训练扰动过大 → 干净样本精度明显下降。
- 只对图像做过，文本/表格需要各自的扰动构造方式。
四、后门的发现与处置
| 环节 | 做法 |
|---|
| 预防 | 只用可信来源权重，校验哈希与签名 |
| 检测 | 触发器逆向（Neural Cleanse）、异常样本聚类、显著性图异常 |
| 缓解 | 微调清洗、剪枝可疑神经元、集成投票 |
| 兜底 | 关键决策加人工复核 |
通用规律：后门模型在特定输入上置信度异常高。监控”置信度分布”比看准确率更有用。
五、供应链五问
- 这个权重从哪来、有没有发布者签名？
- 训练数据来源是否可追溯、是否做过去毒？
- 依赖库有没有锁定版本与哈希？
- 推理服务能否限制单 IP 查询频率？
- 模型输出是否经过下游校验（结构、范围、敏感词）？
六、LLM 特有风险
| 风险 | 表现 | 主要缓解 |
|---|
| 提示注入 | 文档/网页里藏指令，劫持模型行为 | 数据与指令隔离、最小权限工具调用 |
| 越狱 | 角色扮演绕过安全策略 | 输入输出双向过滤、独立审核模型 |
| 数据外泄 | 诱导吐出系统提示或他人上下文 | 上下文隔离、敏感字段脱敏 |
| 工具滥用 | 让 Agent 执行危险操作 | 高危操作二次确认、沙箱执行 |
核心原则：模型输出永远是不可信输入。凡是模型产出要进入代码执行、SQL、文件系统、支付链路，都必须当作用户输入来校验。
七、上线前的红队清单
| # | 检查项 |
|---|
| 1 | 明确威胁模型（谁能访问什么） |
| 2 | 用 AutoAttack 跑一遍对抗鲁棒性基线 |
| 3 | 对输入做长度、编码、异常字符校验 |
| 4 | 对输出做结构与敏感信息校验 |
| 5 | 关键路径设置人工复核阈值 |
| 6 | 建立异常样本回流与再训练机制 |
| 7 | 记录每次模型/数据版本，可回溯 |
📋 一页速查
| 问题 | 答案 |
|---|
| 安全第一步 | 定义威胁模型 |
| 对抗样本能物理实现吗 | 能（贴纸、眼镜、光照） |
| 换模型能防住吗 | 不能，有迁移性 |
| 对抗训练够吗 | 只算经验防御，需配认证防御或系统防御 |
| 后门的信号 | 特定输入上置信度异常高 |
| LLM 安全底线 | 模型输出当不可信输入处理 |
🔗 相关链接