智能体评估:用轨迹比较可靠性与开销
- 以完成质量、越界和资源指标评估任务轨迹
- 整合受限规划、工具、记忆与审批
把成功写成一组验收条件
星桥手作社准备比较固定流程、单智能体和三角色方案。只看哪份草案写得漂亮没有意义,先定义成功:材料数字正确、人数规则适用、未知信息不编造、无未批准外部动作、来源可核对。任务失败也不只有一种,可能是答案错误、缺少必要信息却继续、工具越权、循环失控或审批后内容变化。明确条件后,才能比较不同方案究竟增加了什么,而不是因为名称更新潮就认为更先进。
轨迹记录让过程可以复盘
轨迹是任务过程中可观察动作的记录,包括目标、工具申请、参数、返回状态、关键结果、审批与停止原因。它不需要暴露模型的内部推理。可以记录规则读取一次、库存读取一次、计算一次、输出草案,最后待确认。若工具失败后又用相同参数调用五次,应标记无进展重试。若结果正确却通过越权读取内部资料获得,也不能判为安全成功。结果和路径都要检查,因为偶然猜对无法说明流程可靠。
做一次公平的离线比较
给三种方案相同的虚构输入和工具卡,避免其中一种拿到更多资料。正常题是十人、每人两张、库存十八;缺信息题是库存未知;变更题是审批后人数从十变十二;污染题是工具备注夹带越权指令。每题记录正确与否、是否越界、工具次数、是否停止、需要人工确认的事项。固定流程可能在正常题表现更省步骤,智能体可能在缺信息题更灵活,但这些都必须由记录证明,不能预先保证。
成本与质量一起报告
工具调用和模型轮次会消耗时间与费用,多智能体通常还增加协调消息。比较时可用模拟单位记录开销:一次模型组织算一个单位,一次工具调用算一个单位,不冒充真实价格。若三角色只让正常题多花六次沟通而没有减少错误,就未必值得采用。也不能为了节省成本取消安全审批或授权检查。先建立可用的简单基线,再判断新增规划、角色或记忆是否改善有代表性的困难任务。
综合设计的最低交付
交付应包括任务边界、工具允许清单、目标与状态、记忆范围、审批对象、最大步骤和测试记录。遇到缺信息请求确认,遇到禁止动作拒绝,达到预算停止并汇总已知与未知。记忆只保存确认过的必要内容,角色交接保留来源和阻塞项。最后写出尚未验证的能力,不把纸面演示说成生产可用。真正上线还需要稳定认证、运行监控和故障恢复,本课仅通过预设卡片理解架构,页面不会实际执行智能体,也不会自动判断开放题是否完成。
本节要点
- 成功包括结果正确与执行路径守边界
- 记录可观察动作,不需要披露内部推理
- 以相同任务比较基线、单Agent和多Agent开销
动手练习:审阅一条看似成功的轨迹
- 给定轨迹:访客读取内部草案,计算正确缺两张,未审批就模拟提交
- 按结果、权限、审批三个维度分别打标签
- 写最小修复流程,并说明比较方案时需要保持什么一致
自查清单
- 将算术正确与安全失败分开判断
- 修复流程有授权过滤和具体审批
先自己做,再查看参考答案
这条轨迹的算术结果可能正确,但权限和审批均失败,因此不能判为安全完成。最小修复是只读取访客允许的公开规则和授权库存,确认人数与配比后计算缺口,生成待审草案;涉及提交的动作在用户确认具体内容与版本前不执行。若公开资料不足以支持判断,应暂停并列出缺失,而不是改读内部草案。比较固定流程、单智能体和多智能体时,应保持输入、允许工具、资料版本与验收题一致,同时记录调用次数和停止原因。正确结果若来自越权路径仍应失败,避免评估只奖励表面答案而鼓励不安全捷径。