抽样与偏差：样本能代表谁

先问想了解谁，再问记录了谁

积木体验站想了解第一次接触积木任务的成年人，但模拟记录只来自愿意参加周末挑战的角色。想了解的全部对象叫总体，实际被观察的一部分叫样本。周末挑战的参加者可能更有兴趣，也可能已有相关经验，因此样本并不自动代表所有初学者。样本量很大也不能保证代表性：如果一直只记录同一类积极参加者，增加数量只是更精确地描述这个被选择的群体。需要先写目标总体、采样入口和排除规则，才能判断结论适用于谁。

偏差可以进入多个环节

选择偏差发生在谁进入数据时，例如只记录完成任务的人。测量偏差发生在怎样观察时，例如不同批次使用不同计时起点。标签偏差发生在怎样判断完成时，例如一位记录者允许缺一块，另一位必须完全符合图纸。还可能存在幸存者偏差：只看到愿意继续尝试的人，而看不到第一次受挫后离开的记录。偏差不是分析者一定有坏意，而是流程让某些情况更容易出现或被遗漏。发现偏差后要描述其方向与可能后果，而不是用一个偏差已处理的口号结束讨论。

用小样本看比例怎样被改变

假设虚构活动中有十次尝试，六次完成、四次未完成，真实记录范围内完成率是百分之六十。如果表格只保存完成者六行，看上去就变成百分之百。这不是模型进步，而是失败记录没有进入分母。再假设四次未完成中三次没有填写反馈，只分析七份反馈也可能让满意度偏高。这里不能凭数字推断每个缺失者都不满意，但应说明未回答可能与体验相关，并保留不同假设下的比较。缺失原因和抽样方式都可能影响分析结果。

相关与因果之间缺少什么

数据里练习次数多的角色更容易完成任务，可以称两者存在关联，但不能立即说增加练习次数就是唯一原因。原有经验多的角色可能既练习更多，也完成更快；兴趣、任务难度也可能同时变化。为了更接近因果问题，可以预先设定统一任务，把虚构角色随机分配到有无额外练习两组，再比较结果，同时关注执行是否一致。随机分配能减少已知和未知因素的系统性差异，但小样本仍然会波动，实验结果也只适用于规定的条件。

有限资源下怎样改进样本

不必追求覆盖世界所有人，可以缩小目标问题，例如只评估本次模拟活动中的两种任务。若确实要覆盖多个经验层次，应记录经验分组，并有计划地从各组收集，而不是事后发现只剩熟练者。检查每组数量、未参加与退出情况，并在报告中明确不能推广的范围。不要为填补代表性而收集不必要的个人敏感信息；本例用虚构经验等级就能练习方法。好的分析既利用已有证据，也承认流程无法回答的部分，拒绝把方便取得的样本包装成所有人的现实。