评估指标与阈值：让错误代价决定看什么

先决定哪种情况算正类

体验站希望及时发现可能未完成的任务，以便提前提供提示，因此把未完成定义为正类。这里的正不是好坏评价，只是计算指标时重点识别的类别。真实未完成而模型也发出提示，是真正例；真实完成但发出提示，是假正例；真实未完成却没提示，是假负例；真实完成且没提示，是真负例。类别名称容易绕，建议先写实际是否需要提示与模型是否提示，再填四格表。若把正类换成完成，精确率与召回率的含义也会跟着改变。

用十条记录手算指标

假设十次任务中四次未完成、六次完成。模型提示五次，其中三次确实未完成、两次其实完成；未提示五次，其中一次未完成、四次完成。真正例三、假正例二、假负例一、真负例四。准确率是判对的七次除以十，为百分之七十。精确率是提示中的真实未完成比例，三除以五，为百分之六十。召回率是四次实际未完成中被找到的比例，三除以四，为百分之七十五。每个分母对应不同问题，不能互换。

不均衡让准确率容易误导

如果一百次任务仅五次未完成，始终不提示就能得到百分之九十五准确率，却漏掉全部五次关键情况，正类召回为零。高准确率不能证明系统对少数类有用。可以同时报告类别数量、混淆矩阵、精确率、召回率和每组表现。调和平均指标F1把精确率与召回率综合在一起，但它不考虑真负例，也不自动对应实际成本。选择一个单数方便排序，不应取代对漏报、误报及复核资源的解释。

阈值改变提示数量和错误构成

模型先输出未完成分数，再用阈值决定是否提示。降低阈值一般会提示更多任务，召回可能提高，同时误报可能增加；提高阈值通常相反，具体变化必须在数据上验证。若人工能够检查的提示有限，应结合容量选择阈值，而不是固定认为零点五最合理。阈值只能在验证数据上选择，方案冻结后再用测试数据检查。概率校准回答分数是否可信，阈值回答何时行动，精确率与召回率回答行动结果，各自不能混用。

回归同样需要符合用途的指标

用时预测可以报告平均绝对误差，单位为分钟，容易向初学者解释；均方根误差会更强调较大偏差，也保留分钟单位。若不同任务用时差异很大，应分难度检查，而不是只看总体均值。百分比误差在真实用时接近零时可能不稳定，不能随意选来让数字显得漂亮。最终指标要写数据范围、样本数、基线、选择过程和错误例子。小测试里的好成绩只是有限证据，不是未来所有任务都能保持相同表现的承诺。