微调与对齐：改变行为不等于补全所有知识

会续写还不等于会按要求服务

纸桥故事馆希望模型按固定格式回答：先列资料依据，再给简短结论，最后标注未知。预训练模型可能熟悉许多文本形式，却未必稳定遵循这套要求。监督微调用示例输入与期望输出继续训练，让参数更适合某类任务或风格。它是在已有能力基础上适配，不一定需要重做全部预训练；也不保证所有输入都完全遵守格式。示例质量、覆盖范围和独立评估决定训练结果是否真正改善。

先区分常见训练目标

预训练建立较通用的表示与生成能力，监督微调通过标注示例学习更具体的响应方式，偏好对齐再利用更好与更差回答的比较，引导模型倾向某种行为。偏好方法可能包含奖励模型与强化学习，也可能直接优化偏好数据，不应把所有对齐方法都等同于同一个流程。对齐通常帮助有用性、指令遵循与风险控制，但它不是证明模型内心符合某种价值观，更不是确保事实永远正确的数学保证。

全量与轻量适配只是更新方式差异

全量微调更新较多原有参数，参数高效微调只训练少量新增或选择的参数，例如低秩适配。后者可能减少资源需求，但效果仍取决于任务、基础模型和训练设置。轻量不是免数据，也不意味着完全不改变模型行为。若微调材料里只有成功回答，没有未知问题，模型可能学到每次都要给完整答案。训练与测试资料还要避免同源泄漏，不应把重复模板上的高分误当作适用于所有请求的稳定改进。

动态知识与行为习惯要分开

故事馆每周修改角色设定，若每次都把设定微调进权重，成本和版本管理可能不划算，还难精确删除旧知识。动态事实通常更适合在当前输入提供，或用检索增强生成取回相关资料再交给模型回答。检索增强生成通常不修改模型权重，也不保证找到对的片段或生成正确引用。微调更常用于输出格式、任务习惯或特定能力适配，不代替动态知识检索；实际项目可组合，但应先试成本较低且容易核查的方法。

如何评估适配是否值得

工坊先用明确指令与少量示例建立基线，准备包含已知、未知、资料冲突和格式要求的独立测试。如果提示已足够稳定，就未必需要训练。若反复出现同类格式错误且有足够高质量示例，再考虑微调并比较训练前后。对齐后仍要核对引用、未知处理和边界条件。选择基础模型时阅读权重许可、数据要求和使用条款，不能把开源字样当作任何用途都获许可；训练路线的价值必须通过具体评估证明。