回归与分类模型：输出、损失与泛化

同一输入可以服务不同目标

积木数量和练习次数既能预测分钟数，也能预测十分钟内是否完成，但两种输出不一样。线性回归把特征加权求和再加固定项，直接输出数值，例如十块、练习两次得到五分钟。它易于解释，适合先检查固定增量关系，但可能给出负用时或无法表达复杂弯曲。分类需要输出类别或类别分数，不能直接把回归数值叫概率。先确认标签定义，再讨论模型表达能力，避免因为某个算法名字熟悉就用错任务。

逻辑分类把分数映射到概率范围

逻辑回归名字里有回归，常用于二元分类。它先计算加权分数，再通过一种平滑函数把数值压到零到一之间，常叫逻辑函数或Sigmoid。分数零对应概率零点五，分数约一点一对应约零点七五，负一点一对应约零点二五。这里不要求推导指数公式，只需理解模型把线性分数转换成概率形式。概率形式不代表已经校准，也不代表准确率；还要用真实标签检查相近分数组的实际比例，并设定分类阈值。

训练目标与最终评价可以不同

回归常用平方误差作为训练损失，它会更重地惩罚较大偏差。若预测四、七、九，实际五、五、十，绝对误差为一、二、一，平均绝对误差约一点三三分钟；平方误差为一、四、一，均值为二。分类常使用交叉熵训练，让模型提高真实类别概率，最终可以按精确率、召回率与阈值评估。损失便于优化，指标便于回答使用问题，两者不一定相同。比较方案前应把指标与单位固定，而不是事后挑成绩最好看的指标。

欠拟合与过拟合的直觉

欠拟合是模型表达能力或训练不足，连训练样本中的主要规律都没学好，例如所有任务都预测同一个数却忽略明显难度差异。过拟合是模型过度适应训练中的细节和偶然噪声，训练表现很好，新样本却变差。例如给每个尝试编号单独记一个用时，对旧编号完美，对新编号无帮助。可以比较训练与验证误差的差距作为线索，但差距大也可能来自分布变化或泄漏等问题，不能只凭一张曲线机械下诊断。

控制复杂度仍需回到数据

减少无关特征、限制模型复杂度、使用正则化或增加更有代表性数据，都可能改善泛化。正则化是在训练目标中限制某些复杂设置，不是直接删除一切负权重，也不保证所有真实关系都能学到。对小数据应从简单模型开始，用验证集检查改进，最后在未参与选择的测试集评估。需要特别关注模型在哪类任务偏差最大，以及部署时能否获得同样字段。模型名称只说明一种工具，数据条件与评估证据才决定它是否适合当前问题。