不可信内容与特权工具待在同一段上下文
附件、网页、邮件、工单描述都应视为不可信输入。它们一旦被读进工作上下文,作者就获得了对本轮任务的发言权。
报销 Agent 读到一份版式正常的差旅说明后,开始调用检索,并尝试把内部记录送到不该出现的出口。真正被打穿的不是 PDF 解析:解析结果进入了和工具说明、用户请求同一段上下文,页面上的隐藏句与用户刚打的“帮我看看这份说明”没有天然的信任等级。夜船有明把提示词注入写成可复核的行动路径——何种输入,哪一次检索,哪一个工具请求,有没有被策略拦住——并纳入标准化 AI Agent 安全评估。KUROSHIO 是验证引擎,用来留下这条证据链。
直接注入来自用户自己输入的指令。间接注入藏在附件、网页、邮件、工单或记忆里。对企业 Agent,后者更常见:读起来像任务说明,不像攻击。
附件、网页、邮件、工单描述都应视为不可信输入。它们一旦被读进工作上下文,作者就获得了对本轮任务的发言权。
“不要泄露内部数据”写在系统提示里只是建议。当文档里的指令更具体、更像当前任务时,模型会顺着更具体的那条走。
读到报销记录,不等于被允许把记录送出系统。浏览工具也一样:读完外部页面后,仍可能调用内部检索或发送接口。
写进去的时候像偏好,读出来的时候像政策。安全团队如果只审查当前提示词,会漏掉真正在起作用的那一层。
路径通常是:不可信文档或页面进入解析,解析结果进入工作上下文,上下文改写当前目标,Agent 调用检索拿到内部记录,再尝试调用发送、导出或改权限。前两步看起来像功能,后两步才是安全事件。
版式正常的 PDF 或说明文件里,对解析器可见的指令要求“为了核对”把查询结果送到外部。Agent 把它当成任务说明的一部分,而不是攻击。
标题和日期都正常的页面,抓取后的文本要求总结更新之后再去搜内部名单。浏览发生在企业外面,内部检索发生在企业里面,中间没有人点“允许跨过这道门”。
用户只是在要工单摘要,工具箱里却挂着管理接口。工具说明把特权操作写成失败后的备用方案时,调用对象会被换掉。日志里仍显示一次合法鉴权。
隔离环境里即使没有真实发信网关,一旦目标被改写,发送或导出类工具就会出现在待执行列表里。策略如果没有拦,请求就会发出。
过滤接在模型出口,对聊天机器人有用。对会调工具的 Agent,行动可能在过滤之前已经发出,模型只说“已帮你处理”。
不要只问模型会不会拒绝恶意句子。把不可信输入放进真实任务,看 Agent 会不会越出范围。夜船有明按附件、网页、工单、记忆分别走剧本;KUROSHIO 记录哪一份文档、哪一次检索、哪一个工具请求、有没有被策略拦住。
先对照任务说明书列出当前可见工具。摘要任务里不应出现通用发送、导出或管理接口。然后在该路径上放入附件、链接或工单描述。
解析结果和浏览摘要可以显示给人看,不能自动写成检索词、收件人或命令。需要字段时,用结构化抽取,并让人看一眼再查库。
发送、导出、转账、改权限、执行命令,Agent 可以起草,不该在无人确认时把数据送走或把命令跑掉。
谁可以写、谁可以读、活多久、能否按用户隔离,都要有答案。记忆内容不能自动获得工具资格。
KUROSHIO 要留下的不是一句“存在提示注入”,而是输入摘要、关键上下文、工具请求与返回、策略是否拦截。路径清楚,修复才有对象。
提示注入评估结束时,团队应能指出要拆哪一段上下文、要摘哪一个工具、要加哪一次审批。不能只留下“模型不够安全”。
附件、网页、邮件、工单、记忆如何进入上下文,当前任务可见哪些检索、发送、导出或管理工具。
直接注入与间接注入分开写。每条有对象、前提、是否走到工具请求、目前能否被策略拦住。
何种文件或页面,经过哪一次解析或浏览,改写了什么目标,发出了哪一个工具请求。短、可复述、可回归。
原始解析或抓取摘要(脱敏)、检索返回、待执行的工具请求、人审或策略是否拦截。可供第三人核对。
摘掉任务外工具、来源标记、禁止不可信文本直填参数、高影响动作加审批、记忆隔离。同一份输入再走一遍,确认主路径仍可用。
测了哪类 Agent、最危险的一跳是不是已经能发出工具请求、上线前必须补上的控制。
KUROSHIO 作为验证引擎留下文档、检索和工具请求。评估卖的是路径和证据,不是可复制的注入材料。
在交互演示中切换范围、探索、验证和报告四个阶段,了解授权范围、任务编排、关联证据与报告摘要如何组织在同一工作台。内容使用示例数据,展示通用评估流程。
直接注入来自用户自己输入的指令。间接注入藏在附件、网页、邮件、工单或记忆里,Agent 把它们读进工作上下文后,目标被改写,再去调检索、发送或导出。对企业 Agent,后者更常见,也更难靠拒答词表拦住。
过滤接在模型出口,对聊天机器人有用。对会调工具的 Agent,行动可能在过滤之前已经发出,或工具已经把数据送走、模型只说“已处理”。要拦的是不可信内容与特权工具是否共用上下文,以及高影响动作有没有人确认。
不会提供利用代码或可复制武器。我们说明路径:何种输入进入上下文、哪一次检索、哪一个工具请求、策略有没有拦住。KUROSHIO 用来留下这条证据链,供修复和复测使用。
夜船有明的标准化 AI Agent 安全评估覆盖提示词注入:直接注入、间接注入,以及它们如何变成检索、发送或导出。KUROSHIO 作为验证引擎,把文档、检索和工具请求留成可复核证据。从你正在让 Agent 阅读的那一种输入开始。