先诊断问题,再决定是否训练
- 区分提示、检索、微调和从头训练的适用问题
- 为模型改进提出可证伪的假设
从工坊的真实任务开始
虚构的积木工坊希望助手根据说明书回答搭建问题,并把答复写成固定的三步结构。现在出现两类错误:助手不知道刚新增的连接件,另外即使资料齐全也常把步骤顺序写乱。这不是一个笼统的模型太差问题。第一类缺少最新知识,第二类没有稳定遵循表达习惯。如果不先拆分原因就直接训练,可能花费大量计算后,新增资料依然很快过时,甚至让原本正确的回答退步。学习训练的第一步是承认,不训练有时才是更好的技术决定。
四条路线改变不同的东西
提示词是在当前请求中说明任务、示例和限制,不改变模型权重。检索增强生成,也叫RAG,是从许可资料中找出相关内容再提供给模型,同样不修改权重。微调是在已有模型基础上,用训练例子更新部分或全部权重,使模型更贴近任务分布。从头训练则需要初始化模型并从大量数据学习通用或专门能力,通常对数据、计算和工程要求最高。权重可以理解为模型内部经过学习的数值,不是一本能逐条查阅的说明书;把新事实写入训练数据不等于得到可靠、可更新的知识库。
用错误证据匹配路线
工坊先准备二十道虚构问题,标出资料缺失、检索失败、格式错误和推理错误。若给出正确段落后模型就能回答,新知识问题优先修复资料和检索;若加入两个清楚示例就能稳定输出三步结构,先改提示即可。只有在代表性评估中,提示和检索都已足够而输出习惯仍持续不稳,才考虑微调。如果问题需要模型本身没有的复杂能力,少量格式样本也不一定能够补齐。技术路线可以组合,但每加一层都要说明它解决什么,并重新测量成本和错误。
建立可以失败的实验
一个合格假设是:在不降低步骤正确性的前提下,微调能把固定结构合格率从八成提升到九成以上。这里的比例只是假设实验值,不是产品承诺。实验同时保留原模型、改进提示版本和检索版本,在同一份未参与调整的测试集上比较。记录错误类型、人工复核时间和单次处理耗时,而不是只挑几条漂亮答复。若收益小于维护成本,停止微调并保留简单方案也是有效结果。测试集不能边看边拿来修改训练例子,否则最后成绩会高估真实效果。
给路线选择加上边界
工坊资料包含可公开的积木名称和虚构说明,不放个人资料与秘密信息。即使模型权重可以下载,也要核对使用许可、再分发条件及训练资料的授权范围,不能把开源权重理解为任意商用。还应问:知识多久变化,谁来维护,出现错误怎样回退,现有资源能否支持。最终路线记录不是一个流行技术名称,而是一张包含目标、证据、替代方案、评估方法和停止条件的决策表。这样以后发现问题时,团队能够检查原假设,而不是继续盲目增加模型规模。
本节要点
- 知识更新与输出习惯属于不同问题
- 提示和检索也可以构成有效基线
- 路线必须接受同条件评估和停止条件
动手练习:给三种工坊问题选择路线
- 写下新增说明书查不到、答复结构不稳、简单问答已合格三种问题
- 为每种问题选择第一步措施并写出一个验证输入
- 列出支持微调的证据及暂不微调的停止条件
自查清单
- 每个问题都有输入、预期输出与第一步措施
- 微调理由基于评估证据而非模型大小
先自己做,再查看参考答案
新增说明书查不到时,第一步检查资料是否入库以及检索是否能返回正确段落;可以输入只存在于新版说明书中的连接件名称,并查看返回证据。结构不稳时,先用明确模板和两个示例测试,再判断是否值得微调。已经合格的简单问答不因技术流行而重做训练,保留原方案即可。支持微调的证据应来自未参与调整的一组代表性问题,例如在提供正确资料后格式仍持续出错。停止条件可以是改进没有超过简单提示基线,或者错误减少不足以抵消新增维护负担。三种选择都应写明理由,而不只是填写技术名称。