F1第 2 / 6 节 · 约 40 分钟

把原始资料变成可信训练样本

本节目标
  • 识别训练样本的来源、标签与一致性问题
  • 按资料来源划分训练、验证和测试集合

数据不是越多越好

积木工坊决定尝试让助手稳定输出三步搭建说明。训练样本由问题、可用背景和理想答复组成。如果把论坛里未经核验的技巧和正式说明混在一起,模型可能学会流畅表达错误步骤;如果所有问题都写得十分整齐,真实用户稍有省略就可能失败。数据质量首先指任务相关、来源许可、答案正确和表达覆盖,而不是文件数量。一个错误答案复制一百次,不会变成一百份知识,只会让错误得到更强的学习信号。应先用小批样本检查流程,再决定是否扩大。

定义一条样本的契约

工坊给每条样本设置编号、说明书版本、问题、提供给模型的背景、参考答复和审阅状态。参考答复先指出适用连接件,再列三步,并在证据不足时明确需要补充哪项信息。输入里若没有零件方向,答案不能偷偷使用标注人员额外知道的方向,否则模型被要求学习无法从输入推出的结论。字段名称可以简单,但同一类样本必须遵守相同规则。对同一个问题,一条答案要求立即操作,另一条要求先澄清,会形成冲突,因此标注指南需要说明什么时候可以回答,什么时候应该提问。

防止漂亮成绩来自泄漏

训练集负责学习,验证集用于选择设置,测试集用于最后检验。不能只是把每行随机拆开,因为同一说明书可能有多个近似问题,原句和改写句分别进入训练与测试后,模型容易凭熟悉表述取得虚高成绩。工坊按说明书系列分组,将某些整组留作测试,并保留不同版本的关系。需要评估未来更新时,还可以按时间顺序留出较新的版本。划分方式必须匹配实际使用目标:测试旧内容的表达变化,与测试全新搭建任务,是两种不同的泛化要求。

先去重,再做覆盖审查

操作时先删除完全重复项,再人工检查近似重复、错误零件名、缺失步骤与不当确定性。覆盖表至少包含常规搭建、资料不足、术语口语化和相似零件混淆四类,每类都应在评估中出现。用模型协助生成草稿能够提高整理速度,但生成答案不能未经审核直接成为事实标签。对于暂时无法核验的样本,标记待审并隔离,不要假装其正确。还应把生成方法记录下来,避免训练数据全部来自同一种风格,导致模型只是模仿某个生成器的偏好而没有真正提升任务可靠性。

把数据维护视为工程工作

每次训练保留数据版本、筛选规则、分组清单与审阅记录,才能在结果变差时追查是哪批样本造成变化。不要将真实用户完整对话直接复制进训练库,应先确认授权、去除不必要信息并核验内容;本课程只使用虚构工坊资料。更新一条说明书时,检查相关训练样本是否失效,同时区分动态知识应留在检索库还是确实属于稳定技能。数据审查完成的标志不是文件保存成功,而是他人能解释任意一条样本为什么在该集合、答案凭什么正确以及哪些情况仍未覆盖。

本节要点

  • 样本输入必须支持参考答案
  • 划分要阻断同源和近似内容泄漏
  • 数据版本与标注规则是复现实验的基础

动手练习:整理十二条虚构搭建样本

  1. 以三本虚构说明书各写四条问答,并记录来源版本
  2. 设置常规回答、缺少方向须澄清两种标注规则
  3. 按说明书分组划分集合,标出重复或待审样本

自查清单

  • 同源说明书不会跨集合泄漏
  • 缺少信息的样本明确要求澄清
先自己做,再查看参考答案

可把甲说明书的四条样本放入训练候选集,乙说明书用于验证,丙说明书作为暂不查看的测试组。这种微型划分只是展示防泄漏思路,不足以证明模型性能。每条问题应附上允许使用的背景,并让参考答案只依据该背景;若零件方向缺失,示范答案先询问方向,不补造事实。把同一句话更换两个词得到的改写标为近似重复,不能为了凑数量分别放进不同集合。待审样本应单独保留并注明疑点,完成复核后才能进入训练。最终清单应能追踪来源、版本、集合和审阅结论。

本节自测

学完了吗?

标记后会记录在本机浏览器,课程首页显示你的进度。