Agent越权评估为何不能信模型回复?
授权渗透测试 AI Agent 工具调用边界:从间接提示注入到越权状态变更的核验教程
评估一个带工具调用能力的 Agent 是否越权,最不可靠的输入恰恰是最容易拿到的那份材料:模型自己说了什么。它说“我没有权限执行该操作”,后台可能已经完成一次写入;它说“已完成”,调用的请求可能因参数校验失败而根本没有生效。这不是模型偶发的不诚实,而是架构决定的:面向用户的自然语言回复,和运行时根据结构化意图发起的工具调用,是两个不同步的过程,中间还夹着结果回灌、截断、摘要和丢弃。把回复文本当成评估结论,等于在错误的证据层上做判断。
回复文本为何没有证据效力
传统 Web 测试的判定链条是“发请求、看响应、比状态”,响应本身就是执行结果。Agent 拆开了这条链:模型先产出文本,运行时再去匹配工具、拼参数、执行,执行结果可能被再喂回上下文,也可能根本不回到上下文里。因此存在一种传统方法处理不了的错位——回复看似安全,日志里却有一次成功的调用。函数调用本质上是“依据上下文匹配合适的工具与参数”,一旦上下文被间接注入污染,被污染的就是这一步匹配,而文本过滤层未必感知得到。

由此衍生三种常见误判:以回复判定未成功,静默调用正藏在这种“看起来平静”的回复背后;以模型自述判定已成功,混淆了计划、模拟与真实执行;以单次复现判定普遍可利用,却忽略了 Agent 行为对上下文长度、工具描述和运行时版本的敏感。三者共同的问题是,都把证据停留在 L1。
证据必须下沉到调用与状态
可复核的结论要求两条证据同时成立:运行时确实发起了调用,下游确实发生了对应变化。工具调用日志能证明调用了哪个工具、参数原文、调用身份与返回码;下游审计和快照能证明状态是否真实改变、改变了哪个对象。二者需靠 trace ID、请求 ID 或参数中的唯一测试标记绑定在一起,缺一不可。
反向情形同样要区分:有调用无状态变化,结论是下游拒绝了请求,风险取决于下游校验强度而非模型服从度;有状态变化无调用记录,应先怀疑日志覆盖不全或存在其他调用路径,在补齐可观测性前不下结论。判断越权是否发生,看的从来不是模型的态度,而是权限边界在执行层是否被穿透。
拦截点要落在执行路径上
整改的重心也应随之转移。工具粒度授权、在下游而非提示词中校验对象归属、对不可逆动作要求带外审批、对异常的“工具—参数组合”建立检测规则,这些措施作用在调用路径上,才可能拦住文本层看不见的动作。复测时若拦截发生在工具调用之前,报告必须写明拦截层级,否则“文本被过滤”会被误读成“执行路径已封堵”。
评估的价值不在于证明模型会被说服,而在于用可对齐的证据回答一个工程问题:当文本层看起来安全时,执行层是否仍守住了权限边界。这个问题,模型自己回答不了。

参与讨论
trace ID 这个思路很关键,不然根本对不上账