整合建模方案：误差分析、变化监测与交付

把模型方案写成能够复查的实验

体验站准备比较多数类基线、逻辑分类和浅决策树，用于任务开始前识别十分钟内可能未完成的尝试。首先统一标签为是否在十分钟内完成，把未完成作为正类，输入只使用预先可得字段。然后按新角色情境分组划分训练、验证和测试，明确所有处理规则在训练集确定。比较方案应记录数据版本、特征清单、模型设置、随机种子或划分清单，以及评价指标。让第二位学习者可以按同样步骤复核，比展示一个没有来源的高分更重要。

选方案不只看排行榜第一名

如果逻辑分类与浅树表现接近，可以根据解释需求、使用成本和稳定性选择，而不是增加更多模型直到出现偶然最好分数。阈值在验证集根据提前提示目标和可检查数量确定，最终测试不参与这次选择。小样本某次划分特别有利时，成绩可能不稳定，可以在开发阶段用适合分组的交叉验证观察多个划分，但最终仍要保留独立检查。交叉验证不是把同一角色拆散到各折，也不应该让测试集参与所有尝试。

错误案例告诉你下一步做什么

对误报与漏报逐条检查任务难度、积木数、练习次数和记录规则。例如漏报集中在困难塔楼，可能是这一类样本不足、特征没有描述支撑结构或标签规则不一致。不能看到错误后立刻把真实标签改成模型预测，也不能用错误记录的事后答案增加特征。把原因分为数据问题、任务定义问题、模型能力问题和不可确定问题，再制定相应改进。修改方案后应重新完成开发与评估流程，不把原有测试成绩沿用成新方案的证明。

上线后的世界可能变化

若任务配置从十二块改为二十块，或新的活动规则缩短限时，输入分布与目标关系可能变化。分布漂移表示数据特征分布改变，概念漂移表示输入与目标的关系改变，两者都可能让旧成绩失去代表性。可以监测输入范围、未知类别、缺失比例、提示数量和后来获得标签的评估表现，规定何时停止自动建议并转为人工复核。监测不应额外采集不必要的个人信息，本课程继续使用虚构任务和角色描述流程。

展示型作品与可用系统之间还有距离

一个能显示预测数值的页面不等于生产可用系统。真正使用还涉及数据权限、稳定接口、异常处理、版本管理、复核责任及撤回方案。本课的产出是设计报告，不运行真实模型，也不承诺自动获得成绩。完整交付应包含问题卡、数据与划分说明、基线及候选比较、阈值理由、误差样例、局限和变化监测计划。如果当前证据不足，可以明确建议继续收集或仅辅助提示；诚实限制使用范围，本身就是专业机器学习判断。