预训练与生成：预测续文为什么有用又有限

从一个续写任务理解语言模型

纸桥故事馆写下雨停了，纸船准备，模型接着生成出发。以自回归语言模型为例，它根据已有词元计算下一个词元的分布，选出一个词元，再把它接回序列继续计算。它不是先拥有一个完整正确答案再逐字打印，而是在连续生成中形成文本。生成步骤可以产生连贯的故事、解释和代码，但连贯不等于所有陈述都有证据。下一词元预测只是其中常见的训练与生成方式，并不是所有生成模型的统一定义。

预训练学到什么

预训练利用大量数据调整参数，使模型在指定目标上表现更好。语言模型从文本中学到词语搭配、句法、常见知识表达和任务模式，因此续文目标也可能支持多种有用能力。它通常不把每段资料逐条保存成可查询数据库，不能保证对某事实能定位来源或维持最新版本。训练材料的质量、覆盖与偏差会影响表现，规模扩大并不自动消除错误。涉及数据许可和模型使用条件时，要查实际说明，不能把可下载权重理解成任意商用授权。

Transformer怎样参与生成

常见自回归大语言模型采用变换器结构，用因果注意力让当前位置只能使用已经出现的信息，不能在训练时偷看未来目标。位置表示帮助区分先后，多层计算形成上下文相关表示，输出层把它们转成词表分数和概率。训练时可在一段文本上并行计算多个位置的预测损失，但生成新文本通常仍逐步决定后续词元。训练并行与生成逐步并不矛盾，它们处理的信息条件不同；不能把预测下一个词元解释为模型只看前一个词元。

训练与推理再做一次区分

训练会根据目标与损失更新参数，推理通常保持参数固定。工坊把故事版本二放进输入，模型可以根据当前材料回答，即使其训练时没有见过这个版本；这叫上下文使用，不等于即时完成微调。反过来，没有提供新设定时，模型可能沿训练中常见故事模式续写，编出纸船在清晨出发。参数提供能力与已有模式，输入提供这次可用证据，两者可能冲突，需要通过明确任务和核查避免把通用模式替代特定资料。

为什么会出现无依据内容

若问故事中未说明的出发钟点，模型仍可能生成常见的清晨，因为训练与生成目标鼓励形成合理续文，而不是自动检索所有事实并拒绝缺证问题。所谓幻觉通常指生成看似可信却错误或缺乏支持的内容，不代表模型具有欺骗意图。工坊应要求区分资料支持与未知，保留引用并人工核对。没有单一提示能保证永不出错；了解生成原理，是为了建立检验流程，而不是因为机制简单就否认它的实际能力。