训练与推理:模型何时学习,何时只是回答
- 区分模型参数更新与当前任务处理
- 正确理解上下文、记忆和反馈的差别
先想象制作说明书和使用说明书
小禾整理了许多纸艺范例,用它们形成一套制作说明。之后社员拿来一张新纸,小禾依据说明帮助折叠。形成说明与根据说明做事是两个阶段。这个比喻不完全等同于模型内部运作,但可以帮助理解训练与推理的区别。训练阶段通过数据和优化过程改变模型的内部参数;推理阶段使用已有参数处理当前输入并产生输出。你向聊天工具提出一个问题,通常正在进行推理,不是重新训练整个模型。
参数不是一张可以直接翻阅的资料表
模型参数是计算过程中大量数值化的设置,用来影响输入如何被转换为输出。训练会根据目标和误差逐步调整这些设置,让模型在训练任务中更可能产生合适结果。语言模型参数可能编码许多语言模式,但不能当作一份逐条可靠、随时更新的事实档案。推理时即使回答出现了新名字,也不表示模型权重立即被修改。处理一个输入与长期改变系统能力在技术过程、所需资源和权限上都不相同。
当前对话为什么能影响后续回答
小禾先告诉工具活动叫星纸体验日,再要求它写邀请文案,工具可能在后续回答里使用这个名字。这通常是因为前面的消息还处于上下文中:系统把相关文本一起提供给模型。上下文是本次处理可见的材料,不是永久记忆。开新会话、超出长度限制或系统没有传入旧消息时,名字可能消失。有些产品另有长期记忆功能,它属于应用层保存与读取信息的机制,也不能直接等同于模型训练。
反馈可能有多种去向,不能自行推断
如果小禾点击答案不满意,反馈可能用于产品质量统计,也可能在符合相关设置和流程时参与后续改进;仅凭点击动作不能确定它改变了哪次训练。普通用户也不应认为告诉模型一句以后别犯错,就能让所有其他会话永久改变。涉及保存、改进和删除的具体行为要查看工具说明与设置,课程不假定任何产品都采取相同方式。敏感信息不能因为以为只是临时问答就放心上传,因为服务仍可能存在日志、存储或人员处理环节。
把需求匹配到正确的改进方式
小禾需要这次文案使用指定名称,直接提供名称和限制即可;需要每次都符合固定语气,可以保存一份提示模板或经过批准的工作规则;需要依据每天变化的活动资料回答,应在任务时提供最新版资料或使用检索机制。只有在具备足够数据、评价和授权时,才考虑专门训练或微调。微调是继续调整已有模型参数,不适合替代经常变化的资料检索。区分这些层次能避免用昂贵训练解决一个复制资料就能解决的问题。
本节要点
- 训练改变模型参数,推理使用已有参数完成当前任务
- 上下文、应用记忆和训练是不同机制
- 动态资料优先考虑提供或检索,不应直接假定需要微调
动手练习:给三种改进需求选择机制
- 写下本次使用活动名称、每次使用固定语气、每天回答最新安排三个需求
- 分别选择当前上下文、可复用模板或动态资料提供机制
- 解释为什么一句记住它不能证明永久训练成功
自查清单
- 三个需求的机制选择清楚且成本合理
- 解释中区分上下文与永久参数更新
先自己做,再查看参考答案
本次使用星纸体验日名称,适合把名称放入当前任务上下文,并核对输出是否保留。每次采用友善、简洁的语气,适合保存经过检查的提示模板,在新任务中重新提供。每天回答最新安排,适合提供带日期的最新版资料,或在授权范围内检索相应材料,不能只依赖模型已有参数。对工具说记住它,最多能观察到当前会话继续使用信息;这不证明模型参数被更新,也不证明下一会话仍能读取。若产品提供记忆功能,还需要核实保存内容、适用范围和删除方式,不能把所有机制都叫训练。