信息熵与交叉熵：把不确定性和概率误差连接起来

为什么五五开比几乎确定更不确定

体验站有两袋虚构任务卡。第一袋完成与未完成各占一半，抽一张前较难猜结果；第二袋九成完成，一成未完成，直接猜完成就更有把握。信息熵用于衡量一个概率分布的不确定性，不是评价任务有趣程度，也不直接代表模型错误数。二元分布两类相同概率时熵较高，概率集中在一类时熵较低。当结果必然属于一类，熵为零。这里说的是已定义分布的数学性质，不代表现实世界已被完整观察。

对数把罕见事件变成更大信息量

使用以二为底的对数，可以把概率二分之一对应的信息量写成一比特，概率四分之一对应二比特。越意外的事件，观察到后获得的信息量越大。熵把每种结果的信息量按它出现的概率加权平均。五五开时，两项各为零点五乘一，合起来一比特；九一开时约为零点四七比特，说明平均不确定性较低。初学者可以用这些已给出的对数值比较，不必手算复杂对数。比特在此是信息量单位，不等同于中文字符数或模型Token数量。

交叉熵惩罚给真实结果的低概率

若某任务真实完成，模型甲给完成概率零点八，模型乙给零点二，使用自然对数的二元交叉熵时，这条记录的损失就是给真实类别概率取负对数。负对数零点八约零点二二，负对数零点二约一点六一，因此乙受到更大惩罚。若实际未完成，就看模型给未完成的概率，也就是一减完成概率。交叉熵不只看是否超过分类阈值，还关注分数的自信程度；错误且极度自信会产生很大的损失。实际计算会避免直接对零取对数。

阈值、损失和行动是不同层次

设两个模型对真实完成任务分别给零点五一和零点九九，以零点五为阈值时两者都判完成，准确率在这条上同样正确，但交叉熵不同，后者对真实类别给了更高概率。反过来若实际未完成，零点九九会因过度自信受到较大惩罚。损失衡量概率预测质量，阈值把分数变成类别，行动还需要考虑错误代价和人工复核条件。低交叉熵并不自动证明概率对每个群体都校准，也不等于任何阈值下效果都最好。

把六节数学串成一条检查链

先用函数写清输入到输出的规则，再用向量矩阵保持字段顺序，使用概率表达分类不确定性，用统计量说明样本表现与波动，利用梯度减少所选损失，最后用信息熵与交叉熵理解分布和概率误差。每个数学工具只回答一部分问题。表格单位错误、未来信息泄漏或样本缺少代表性时，复杂公式也会精确地计算错误问题。交付时写明数据范围、参数单位、概率含义、损失口径、评估集合和未验证情境，数学才能成为可信解释，而不是让结论看起来权威的装饰。