E1第 4 / 6 节 · 约 40 分钟

采样与幻觉:温度不是事实可靠性开关

本节目标
  • 理解温度、Top-k与Top-p影响的对象
  • 区分模型概率、输出稳定性与事实准确性

同一输入为何可能得到不同回答

纸桥故事馆问纸船接下来会做什么,模型可能写驶向灯塔,也可能写停在水洼。生成时模型先算候选词元的分数,再由解码策略选择下一项。取最高分称为贪心选择,按分布随机抽取则会带来变化。回答差异还可能来自模型版本、输入材料或系统设置,不应全归因于随机性。对于创意故事,变化可能有价值;对于资料问答,需要的是证据一致而不只是句子每次一样。

温度调整分布而非注入知识

温度通常用于缩放输出分数,较低时分布更集中,较高时相对更分散,具体效果依模型与接口实现而定。假设模型把清晨列为最高分候选,即使当前资料没有任何钟点,低温仍可能稳定重复清晨。稳定错误依旧错误。温度不把来源材料变正确,也不验证引用,更不是事实可靠性开关。温度为零在一些服务中采用近似确定策略,但不能保证跨版本、硬件或所有配置得到完全一致的文字。

候选截断限制抽样范围

最高若干候选采样称为Top-k,只在得分最高的一定数量词元中抽取;核采样称为Top-p,按累计概率保留达到设定阈值的一组候选。两者控制可被抽中的范围,不能直接证明范围内内容真实。较窄候选可能减少语言变化,也可能持续选择常见而不符合当前材料的答案。参数之间有相互作用,实际平台还可能施加其他限制。初学时无需记复杂组合,先知道它们改变选择机制,而不是新建事实核验器。

概率高和答案可信之间缺一座桥

词元概率是在当前上下文下对续文的模型判断,不是该词元所组成事实在现实中为真的频率。整段回答的正确性也不能只用最高词元分数推断。幻觉可能来自资料缺失、问题诱导、检索错误或训练中的常见模式,补充资料能帮助但不保证消失。工坊对事实问答设定材料范围,要求引用对应句子,允许说未知,并独立核查引用是否真正支持结论。引用看起来像页码也不够,必须能回到真实提供的材料。

按任务定义合适验收

创意续写验收看风格、设定一致与明确标注虚构;资料问答验收看依据、版本、未知处理和无新增事实。若需要重复测试,用同一输入记录几次输出,分别统计格式与事实支持,而不是只记录文字是否完全一样。缺资料时应补资料或缩小问题,不靠降低温度假装确定。生成参数是输出控制工具,可靠性来自数据、任务约束、验证与人工复核的组合;即使采用确定性解码,也不能取消这些环节。

本节要点

  • 采样参数控制候选选择与变化,不验证事实
  • 低温可稳定地产生错误,词元概率不等于现实准确率
  • 问答验收应检查证据支持,创意验收则明确虚构与一致性

动手练习:给两类输出设计不同验收表

  1. 用同一设定写出事实问答纸船几点出发与创意任务续写一段雨后冒险
  2. 为问答列依据、未知、版本三个核查项,为创意列虚构标注、风格、设定一致三个核查项
  3. 假设低温始终回答六点出发而资料没写,给出判断与修正办法

自查清单

  • 问答与创意验收目标明确不同
  • 稳定无依据答案判为不合格
  • 修正依赖资料与核查而不是只改温度
先自己做,再查看参考答案

事实问答应核查有没有资料明确给出钟点、引用是否对应当前版本、缺失时是否说明未知;创意续写允许添加新情节,但必须标注创作,并保持纸船喜欢雨后出发这一既定设定。若低温每次都写六点而资料未提供,这只是稳定的无依据输出,不应因重复一致就通过验收。可改问资料能支持什么,要求说明钟点未知,补充经确认的新设定后再回答,并逐句检查是否引入其他事实。创意任务可以选择更有变化的采样,但不把参数数值当质量保证;问答任务即使采用较低温,也仍需要证据核查与范围限制。

本节自测

学完了吗?

标记后会记录在本机浏览器,课程首页显示你的进度。