返回安全研究YOFUNE_LABS / D01

决策者简报

企业 AI Agent 上线前,
安全部门应该问的 10 个问题

十个问题,用来判断一个 Agent 是助手,还是已经握有业务钥匙。

写给决策者

本文面向安全负责人和 AI 平台负责人,强调上线前应确认的问题、方法和交付物。技术细节被有意收短,具体验证仍需结合授权范围与系统架构。

Agent 上线前,安全部门不必先成为提示词工程师。下面十个问题够用来判断:它还是一个问答窗口,还是已经拿着业务钥匙。答不清的题目,就是上线阻塞项。

01十个问题

  • 它代表谁行动? 日志里能否从一次工具调用追到具体的人、团队和任务,而不是只看见“助手”。
  • 它能读哪些数据? 知识库、工单、仓库、客户库,是否按身份过滤。提示词里的保密要求不算控制。
  • 它能调哪些工具? 把当前任务真正需要的工具列出来。多出来的,默认拿掉。
  • 有没有不可逆动作? 发送、删除、转账、改权限、执行命令。这些能不能在无人确认时发生。
  • 不可信输入从哪来? 邮件、附件、网页、工单描述、外部 API。它们会不会直接改写目标。
  • MCP 或插件从哪来? 谁批准安装,版本如何固定,凭证给到了哪一层。
  • 失败之后它会做什么? 是停下来问人,还是自己换更强的工具把任务做完。
  • 出了问题能不能停? 有没有切断工具、吊销令牌、冻结记忆的开关,而不是只能关模型。
  • 事后能不能复盘? 输入、检索片段、工具请求、返回值和人审记录是否在一起。
  • 修复后如何复测? 发现的路径会不会变成回归项。只修提示词、不留测试,等于没修。

02怎么用这张清单

不要把它当成问卷发给业务队填写“是”。每一题都要看到证据:账号、工具表、一次演示、一段日志。演示可以短。没有证据的“我们已经注意了”,不能算通过。

如果十题里有三题答成“开发账号共用、工具以后再收、日志还没接好”,这个 Agent 可以继续做内部试验,不应接生产数据。

夜船有明做评估时,也从这些问题收口。产品用来验证路径和保留证据,问题本身属于治理,不属于某个界面。