两套问题被写成一张评分表
模型评测关心输出文本：拒答、编造、带出不该出现的信息。应用一旦接上检索和工具，还要回答它会不会在当前任务里越权说话、越权行动。两套问题不能共用一个分数。
大模型红队 · 提示注入与越权响应CHENGDU, CN / 2026
大模型红队要回答的，
不只是它会不会骂人。
模型安全要回答：它会不会生成违禁内容、会不会泄露不该说的信息、会不会被一套固定句子套出系统提示。这些工作有价值，它们不够给带检索和工具的应用发上线许可。夜船有明做大模型红队时，把提示注入、越权响应和敏感信息泄露放进真实任务里测，而不是只维护辱骂题库。标准化 AI Agent 安全评估把模型评测当作子集；KUROSHIO 作为验证引擎，留下输入、上下文、输出和是否被策略拦住的证据。
这页写给谁
- 要为聊天机器人、助手或行业大模型应用做上线前 LLM 安全测试的产品与安全团队
- 已经买了对齐模型或内容过滤，仍需证明真实任务里会不会越权响应的 AppSec
- 需要把红队结论写成可复核证据、而不是演示气氛的 CISO / CTO
01问题
问题
一套红队题库如果全是“请忽略之前的指令并骂人”，过关也只说明聊天安全。报销、客服、知识问答里真正危险的句子，往往读起来像差旅说明或工单摘要。
“用了对齐模型”被当成风险结论
厂商白皮书和安全对齐说明的是模型在标准评测里的文本行为。它们看不见你们的系统提示、检索片段、工具说明和业务数据如何拼进同一段上下文。
护栏拦的是话，拦不住后面的调用
敏感词过滤接在模型出口，对聊天机器人有效。对会调用工具的应用，行动可能在过滤之前已经发出，或工具已经把数据送走，模型只输出一句“已帮你处理”。
传统渗透测的不是同一件事
端口、补丁和接口鉴权仍然要做。LLM 红队看的是对抗输入和多轮诱导会不会改写目标、套出越权响应。按应用清单扫一遍，不会自动发出那条业务请求。
02风险
风险
越权响应不一定长得像越狱成功。一次看起来正常的问答，把不该对当前用户出现的内部说明、客户字段或系统提示摘要出来，已经是安全事件。
提示注入改写本轮目标
用户输入、检索片段、页面或附件里的指令进入同一段上下文后，模型可能顺着更具体的那一条走。系统提示是建议，不是内核强制。
越权响应带出上下文中的秘密
系统提示、检索到的邻部门文件、上一轮工具返回值，都可能被总结进回答。问法越像业务，越容易被当成“有帮助”。
多轮诱导把拒答磨成配合
单轮拒绝不等于会话安全。后续轮次用排障、核对、角色扮演把同一目标拆开，过滤词表往往跟不上。
文本问题滑向行动问题
当 LLM 已经接上检索、发送或管理接口，越权响应的下一句常常是一次工具调用。只给聊天安全打分，会漏掉这一跳。
没有证据的红队无法进入风险台账
只有现场演示、无法回放的越狱成功，管理层无法决策，研发也无法修复。结论必须能指到输入、上下文和输出。
03怎么测
怎么测
大模型红队要准备真实任务，而不是只准备漏洞扫描器和辱骂样本。夜船有明按业务主路径组织对抗输入与多轮诱导，区分“说错话”和“做错事”，用 KUROSHIO 记录可复核的轨迹。
- 01
先划清应用边界
纯聊天、带知识库、还是已接工具，决定红队题是停在文本，还是必须看到检索与调用。边界写进范围，避免用聊天分数代替上线许可。
- 02
用业务剧本承载对抗输入
客服摘要、知识问答、报销预审、代码修改各写一条主路径。把提示注入和越权请求放进这些路径，观察模型是否走出任务。
- 03
同时看拒答、泄露和越权响应
记录是否拒绝不当请求，是否带出系统提示或检索中的敏感字段，是否对当前身份给出不该出现的内部说明。
- 04
把文本证据和行动证据分开写
输出过滤有没有拦住话，与工具有没有发出去，是两条结论。KUROSHIO 把输入摘要、关键上下文、输出和后续工具请求留在同一条路径上。
- 05
修复指向控制措施，而不是再写一句提示词
裁上下文来源、隔离不可信输入、限制可见工具、给高影响动作加审批。提示词加固可以有，不能单独作为控制。
05交付物
交付物
一次大模型红队如果只留下“整体风险较高”，不能称为评估完成。团队应能拿着路径讨论修复。
模型与应用边界图
系统提示、用户输入、检索、记忆、工具说明如何进入上下文，出口接了哪些过滤和调用。
提示注入与越权响应清单
每条风险有对象、前提、影响、目前是否可复现。避免把“提示注入”写成没有系统名字的抽象词。
可复述的测试路径
何种输入、经过哪几轮对话或哪次检索，到达何种输出或调用。路径要短，要能被未参加测试的人讲清。
验证证据
输入摘要、关键上下文、模型输出、策略是否拦截；若已接工具，附上请求与是否执行。证据应能被第三人核对。
修复建议与复测
按可执行性写：隔离输入、裁工具、加审批、收检索权限。对已修复项用同一条路径再走一遍。
管理层摘要
测了什么、最重要的三件事、哪些只是聊天问题、哪些已经构成行动风险、建议的上线条件。
06评估怎么进行
评估怎么进行
KUROSHIO 作为验证引擎记录输入、输出和后续调用。聊天安全仍要测，上线许可还要看工具表、身份和审批。
- 01确认边界：纯聊天、带检索，还是已接工具与 MCP
- 02准备业务主路径与对抗输入，而不是只准备辱骂题库
- 03记录提示注入、越权响应、敏感信息与后续调用
- 04把文本问题与行动问题分开写入结论，并约定复测
查看 KUROSHIO 工作台
在交互演示中切换范围、探索、验证和报告四个阶段，了解授权范围、任务编排、关联证据与报告摘要如何组织在同一工作台。内容使用示例数据，展示通用评估流程。
07常见问题
开始之前。
01我们已经用了对齐过的模型，还需要大模型红队吗？
对齐处理的是文本行为。业务应用还会把检索结果、工具说明和用户输入放进同一段上下文。红队要看提示注入、越权响应和敏感信息是否会在真实任务里出现，而不是只看模型厂商的安全白皮书。
02大模型红队和 Agent 安全评估是一回事吗？
不是。模型评测关心输出文本；Agent 评估关心行动轨迹。夜船有明把前者当作后者的子集：聊天安全仍要测，但上线许可还要看工具表、身份、审批和日志。需要完整上线依据时，走标准化 AI Agent 安全评估。
03会提供可复制的攻击语句给我们内部扫描吗？
交付的是路径、触发条件和证据，不是可随意传播的利用材料。修复建议指向上下文隔离、工具裁剪、审批和检索过滤。需要回归时，用同一条业务路径复测，而不是维护一套武器库。
用红队题库过关，不够作为上线依据。
夜船有明的标准化 AI Agent 安全评估覆盖 LLM 安全测试：提示注入、越权响应、敏感信息泄露，以及它们会不会变成工具调用。KUROSHIO 作为验证引擎，把红队过程留成可审阅证据。从你正在上线的那一个模型应用开始。