用任务成果衡量价值而非热闹指标

使用次数为什么可能误导

工坊试点第一周对话次数很多，团队很兴奋。但一个成员为了完成同一份清单反复问十次，也会贡献十次使用，可能反映困难而非成功。价值评估先问原来哪个任务耗费精力，AI改变了哪些步骤，最终结果是否更好。点击、打开和对话次数可以说明参与情况，却不能替代材料完整率、总完成时间和返工。模型回复很流畅也只是体验线索，不代表清单可用。评估需要把指标与具体决策连接起来：是扩大试点、修改交互，还是停止某种任务类型。

把全流程成本和收益放在一起

假设六份虚构说明原流程平均需要十二分钟，AI生成需要一分钟、核对七分钟、修正两分钟，总共十分钟，粗略节省两分钟。若只有六个任务，这只是小样本观察，还需看个体差异和错误。除了用户操作时间，也应记录维护资料、处理反馈、服务运行与培训的工作量。这里不需要虚构费用价格，可以使用分钟、请求数和维护次数做相对比较。一次性建立模板的投入与长期维护负担属于不同项目，应分开写明，而不是用第一次演示的速度代表长期净收益。

选择能改变产品决定的指标

工坊设一个主要指标：在关键材料不遗漏的前提下，完成可核对清单的总时间。护栏指标是关键遗漏、无依据新增材料和用户误认定稿，这些不能因为时间变短而恶化。诊断指标如澄清次数、引用核对时间和服务等待，用来解释变化原因。主要指标不宜无限增加，否则最后容易只挑改善的数字；护栏也应事先定义。对复杂与简单说明分别统计，可能发现复杂任务节省更多，而简单任务用普通表格就足够。产品可以只支持确实有价值的一部分，而不必为了完整宣传覆盖所有任务。

相关变化不自动说明因果

第二周完成时间下降，可能是AI改进，也可能是参与者更熟悉说明或任务变简单。想更可靠地判断方案影响，可以让相近任务配对比较，平衡使用顺序，并尽可能让其他条件保持一致。随机分配有助于减少系统性差异，但小样本仍会有波动；不能把一次结果写成绝对因果。报告给出样本量、任务类别、版本和观察限制，必要时扩大验证。对已经看过的说明再次完成通常更快，因此不能把同一个人第二次用AI的速度直接与第一次人工速度比较，却忽略学习效应。

价值结论要包含不适用范围

如果复杂说明有明显帮助而简单说明没有，建议按任务选择入口，保留非AI流程。若效率提升但维护负担太大，可以先改善资料结构或减少支持范围；若护栏失败，就先修复再考虑收益。工坊的结论可以写：在本次虚构样本和限定试点中，复杂说明整理出现缩短趋势，但仍有数量冲突需要人工确认，尚不能推断长期总体收益。这样的表达比我们全面提升效率更诚实，也方便下一次验证。价值评估的目标不是生成一个好看的成功数字，而是决定哪些改变应该继续、哪些应该撤销。