D2第 6 / 6 节 · 约 45 分钟

整合应用:设计可信的深度学习实验

本节目标
  • 按输入与问题选择候选网络
  • 制定包含基线、划分和错误分析的实验方案

从需求而不是模型名字出发

云朵工坊提出两个不同请求:给整张卡片分类,以及根据一句描述回答哪件玩具是红色。前者重点是视觉模式,后者重点是文本关系,不能因为都属于人工智能就默认用同一网络。首先写明输入、输出、类别边界与允许失败的情形。如果图片中有两个玩具而任务只接受一个类别,需要澄清标注规则;需求模糊会让训练标签彼此矛盾,再强的优化器也无法替人决定正确目标。

选择可解释的比较起点

对两个数字特征,可以先比较简单规则与小型全连接网络;对图片,可比较手工轮廓规则和使用预训练表示的卷积分类器;对描述关系,可比较关键词基线与适合序列的模型。基线不必强大,但要使用同样的评估范围。若复杂模型只比基线多一项优势,却需要明显更大成本,就应讨论是否值得。参数量、层数和模型名不直接等于实际效果,少量数据下的复杂结构尤其需要谨慎验证。

把训练计划写成可复查步骤

先整理卡片编号与标签说明,按原始对象分组划分数据;只使用训练集估计预处理所需统计量。接着固定基线,设置少量候选方案,用验证集比较学习率、正则化或训练时点。选定方案后保留配置,再对测试集作一次正式评估。这里的一次不是禁止排查程序错误,而是避免根据测试表现持续挑选模型。若测试揭示设计缺陷需要重做,应诚实记录旧测试已被查看,并准备新的独立评估材料。

报告不只写一个准确率

工坊在测试中统计圆形被错判方形和方形被错判圆形的数量,进一步按背景、遮挡与光照拆分。若圆形占大多数,总准确率可能掩盖方形召回率很低的问题。还要说明哪些输入不在范围内、哪些情况交给人工,以及推理使用多少资源。小测试集带来较大不确定性,结果可作为探索依据但不应承诺普遍可靠。错误分析不是挑几张有趣图片,而是把失败类型与后续数据或规则改进联系起来。

决定下一轮是否需要更复杂

若错误主要来自模糊标签,先改标注规范;若来自背景偏差,补充均衡背景并建立分组评估;若训练与验证都无法捕捉必要关系,再考虑增加合适结构或容量。别用堆深网络掩盖数据问题。最终方案应包括任务定义、候选结构、训练设置、评估结果和限制说明,即使未实际训练也能完成设计练习。这个教学作品不是生产部署凭证;真实部署还需要持续监测、版本管理、资源验证与安全边界。

本节要点

  • 结构选择从输入关系与任务边界出发
  • 公平比较需要一致划分、基线与明确选择过程
  • 错误类型决定改进方向,不是所有失败都靠更深网络解决

动手练习:提交一页实验决策单

  1. 从图片分类或文本关系判断中选一个任务,明确输入、输出和不处理的情况
  2. 填写基线、候选结构、分组划分、验证指标与最终测试办法
  3. 假设发现背景偏差,写出下一轮改进与验收条件

自查清单

  • 任务有明确的范围外输入处理
  • 基线与候选使用相同独立划分
  • 改进动作对应具体错误且有可核对验收指标
先自己做,再查看参考答案

示例选择单玩具卡片整图分类,输入为合成图片,输出为圆形或方形,三角形及多玩具图交由人工。基线是轮廓圆度规则,候选是利用预训练视觉表示的小型分类器;同一卡片的全部变体成组划分,用验证集比较设置,测试集保留到方案确定后。指标除总体准确率外,列出两类召回率和不同背景的混淆情况。如果错误集中在某种背景,先收集或合成两类均衡背景数据,而非直接增加层数。下一轮验收要求在独立背景测试上改进且其他组没有明显退化,同时记录样本量和失败清单;示例描述的是实验方案,不声称已经训练出可部署系统。

本节自测

学完了吗?

标记后会记录在本机浏览器,课程首页显示你的进度。