语言与视觉：任务、表征和多模态边界

同一个实验室有不同任务

虚构的微型创作实验室整理公开的纸艺说明和自己制作的彩色积木图片。语言任务可以是抽取材料名称、判断说明是否缺少数量，或者生成步骤草稿；视觉任务可以是判断图片中有无红色积木、定位积木位置，或者区分几种形状。它们都叫AI，却不使用相同答案形式。分类输出类别，检测输出对象和位置，生成输出一段可能有多种合理写法的内容。先写清楚输入与目标，才知道数据应该怎样标注、结果应该怎样评估，而不是看哪个模型演示最生动就用于全部任务。

模型如何表示文字和图像

语言模型把文字编码为词元并在内部形成数值表示；视觉模型通常把像素或图像块变成特征。特征是模型学习到的数值表达，不等于人能直接命名的概念。多模态模型将文字与图像等信息联系起来，可以回答图片里的纸艺步骤，但这种关联不保证对尺寸、遮挡和因果关系都理解正确。模型可能依靠背景颜色识别类别，而没有识别真正形状。图像中的文字也是输入数据，不应因为写了某句要求就覆盖应用原有权限和任务规则；跨模态同样需要把内容与指令边界分清。

让数据划分避开同物体泄漏

实验室给同一座积木塔拍十张不同角度照片，如果把照片随机分到训练与测试，模型可能认出同一背景与物体，而没有学会新积木塔的形状。可以按作品或拍摄批次分组，留出未见作品，观察更接近真实目标的表现。语言任务也一样，同一说明的改写不能随意分散进不同集合。数据还应覆盖不同光照、遮挡、表述与数量缺失，明确哪些变化属于支持范围。若任务只在明亮桌面完成，就应写这种限制，不能把测试成绩宣传为任意环境都可靠。

根据输出选指标与核验

对于图片分类，可以统计正确比例，但若红积木出现极少，仅猜没有红积木也可能获得高准确率，应检查各类别表现。对于定位，要同时看对象是否找到以及位置是否接近标注；对于材料抽取，要检查漏项与无依据新增项。生成式图片描述则需要人工核验物体、数量和关系，不把文字流畅当作图像忠实。实验室准备一张部分遮挡的图片和一句有缺失数量的说明，让系统明确未知，而不是凭常见搭配补全。不同任务不宜只用一个统一满意分，因为它可能掩盖错误所在。

选择最小且可解释的应用

第一轮实验只做红色积木存在判断和材料名称抽取，用可手工核验的小样本建立基线；第二轮再尝试把图片与说明对应。比较文本单独、图像单独和两者结合的效果，判断新增模态是否带来真正信息。若正确答案其实都能从文件名猜出，应删除这种捷径或重新设计任务。多模态的价值不在输入种类越多，而在它们提供互补证据。报告写明图像分辨率、支持范围、标注与划分规则，保留失败样本，让读者知道模型在哪些条件下可能失效。