处理缺失、重复与异常：清洗不等于美化

先理解问题，再动手修改

积木体验站的模拟表里出现空白用时、两条相同尝试编号和一条八十分钟的记录。看见这些现象，不能立即把空白填成零、删除重复行、把八十改成八。清洗的目标是让数据符合已确认的记录规则，不是让结果更漂亮。零分钟通常表示确实没有耗时，空白则表示没有观察到或没有记录，二者含义不同。异常值也可能是复杂任务的真实结果，只有证据支持时才能修改。首先保留原始表，并为每一种可疑情况写出检查问题。

缺失需要区分原因

缺失值可能来自计时器未启动、任务尚未结束或录入遗漏。不同原因会影响处理方式：尚未结束的用时可能不适合计算完成用时均值，录入遗漏则可以尝试回看原始说明。填充意味着用一个规则估计缺失值，例如用已知记录的中位数替代，但它不能恢复真实观察，也会改变数据分布。若困难任务更容易漏记用时，只分析完整记录就可能低估耗时；缺失并不总是随机发生。因此要报告缺失比例和可能原因，不应只报告清洗后还剩多少行。

用微型样例检查单位与重复

五条记录的用时分别是六分钟、八分钟、空白、八分钟、一百二十秒。第一步统一单位，一百二十秒除以六十变成两分钟。第二步检查两条八分钟是否具有相同尝试编号。如果编号相同且所有字段相同，可能是重复导入；若编号不同，即使数值相同也可能是两次合法尝试。第三步把空白标为缺失，而不是零。假设确认重复八分钟只保留一条，则已知独立用时为六、八、二，中位数为六。若用六填充空白，应另外标出这条是估计值。

异常检测只是启动核实的信号

把用时排序可以发现特别大的或特别小的数，但排序不能说明它们一定错误。八十分钟可能来自暂停未扣除，也可能确实有较长尝试；两分钟可能来自简单任务，不必然是输入遗漏了零。可以先设置待核实标记，再查看任务类型、计时规则和批次。若无法核实，保留原值并做两种分析，例如包含与不包含该记录时的平均数各是多少。这种敏感性分析能展示结论对处理规则有多依赖，比悄悄删除不喜欢的数字更诚实。

用清洗日志保护结论

清洗日志至少写原字段、发现的问题、采用的规则、修改后的值和理由。可以记录一百二十秒换算为两分钟，依据是秒到分钟的单位转换；重复导入的尝试编号只保留一条，依据是来源批次核对；缺失用时暂不填充，依据是原因尚不明确。还应核对清洗前后行数与各类别数量，防止规则意外删除整个困难任务组。规则如果会用于机器学习，填充所需统计量必须只从训练数据中学习，不能偷偷利用之后的测试数据。