决策树与集成：分支规则和多个模型的合作

决策树把预测写成一连串问题

积木体验站可以用决策树判断十分钟内是否完成。先问积木数量是否超过十四，再在某个分支问此前练习是否至少两次，最后给出完成或未完成的预测。每个问题形成分裂，沿着答案走到没有继续分支的位置，叫叶节点。树也能回归，例如叶节点输出同组记录的平均用时。它的直觉接近条件规则，但分裂位置通常由训练数据学习，不是人工预先写好全部条件，因此仍需独立验证。

分裂追求更一致的组

假设六条训练记录有四次完成、两次未完成。按积木数分裂后，低数量组四条全完成，高数量组两条全未完成，两个子组比原来更一致。树训练会比较多个候选分裂，常用不纯度下降或误差降低评估好坏。不纯度表示组内标签混杂程度，分类可以用信息熵等度量。这个例子特意简单，不代表现实一定存在十四块的真实门槛。训练学到的阈值只是在当前样本上有用的划分，样本变化后可能完全不同。

深树容易把细节当规律

如果允许树不断分裂，最终每个叶节点可能只剩一条记录，训练集几乎都预测正确，却学到某个编号或偶然差异。限制最大深度、要求叶节点有足够样本或剪去帮助不大的分支，可以减少过拟合，但过度限制也可能欠拟合。树通常不需要像距离模型那样严格缩放每个数值特征，不过类别编码、缺失与标签质量仍要处理。解释一个分支还应说明样本数量，只有一条支持的规则不应被包装成稳健结论。

随机森林通过差异化树减少波动

随机森林训练多棵有差异的树，常通过对训练样本重复抽取和随机挑选候选特征制造差异。分类时汇总投票或概率，回归时平均输出。若三棵树预测用时为六、八、七，平均为七分钟。多个模型的误差不完全一致时，平均可能抵消部分偶然波动；如果所有树共享同一种偏差，则集成也不能自动修复。森林通常比单棵深树稳定，但整体解释更复杂，计算与维护成本也更高，需要与简单树在相同评估上比较。

提升方法逐步关注还没解决的误差

提升方法如梯度提升不是简单同时训练一堆树，而是依次加入模型，让新模型改善当前组合尚未处理好的误差。它可能很有效，也可能对噪声和参数设置敏感，学习率、树复杂度和数量需要验证。随机森林与提升都属于集成思想，但合作方式不同。更多树不等于必然更好，尤其不能通过增加模型数量绕过数据泄漏与错误标签。选择方案时还要看解释需求、响应成本和错误类别表现，不能只看算法听起来是否高级。