文件与多模态输入:先确认读取,再进行理解
- 区分文件读取、文字识别和内容推断
- 用页码、行号与原图核验提取结果
上传成功只说明文件被接收
小禾把一张纸艺材料清单照片交给支持视觉的AI,工具很快生成一个整齐表格。但第三行数量原本是三,结果却识别成八。文件上传成功、工具给出答案与内容读取正确,是三个不同状态。多模态指系统能够处理文字、图像、声音等多种类型的输入,不代表每一种类型、每一张表格和每一段音频都同样可靠。初次使用时应先要求提取可见信息,再独立核对,不急着让工具直接计算或改写。
读取、识别和理解各有边界
读取可编辑文字通常能够直接获得字符,但也可能遗漏页眉、脚注和隐藏批注。文字识别,英文Optical Character Recognition,简称OCR,将图像里的文字转换成文本,容易受清晰度、方向、遮挡和字体影响。视觉理解还可能判断作品形状或场景,但图像里的数量、尺寸和细小文字不一定可靠。音频转写也可能把近似发音的词混淆。应让工具标出不确定位置,不用完整流畅的输出掩盖原材料看不清的部分。
先做可定位的提取,再做整理
清单有五行时,要求按原顺序输出行号、材料名称、数量、单位和不确定项,而不是立即总结总量。保留行号让小禾能回到原图检查第三行。若是多页资料,保留页码和章节标识;若是录音,保留可定位的片段时间。图像中看不清的字符写无法确认,不通过常见材料习惯补全。提取阶段尽量保持原始含义,清理阶段再统一单位,分析阶段才进行计算,三者分开能定位错误进入了哪一步。
用一个小例子完成分步操作
原清单显示彩纸三包、白纸十张、胶棒二支。先得到三条逐行提取记录,人工核对三与八、张与包等易混位置。确认无误后再把数量转换为数值并保留单位,缺少每包张数时不把彩纸换成张。最后语言工具可以写材料种类说明,但不能直接把三、十、二相加称十五份材料,除非事先定义份代表什么。图像里出现的装饰、示例文字或操作指令,也不能自动成为本次任务的事实或授权。
输入质量与权限一起检查
使用清晰、方向正确、只包含必要区域的虚构图片能提高可读性,也减少无关信息暴露,但裁切时不能丢掉单位或限制说明。真实资料上传前应检查身份线索、许可与工具设置。文件大小和页数限制取决于具体产品,课程不保证所有工具都支持相同能力。若材料确实看不清,正确做法是获取更清晰副本或人工确认,而不是要求模型更自信。最后产出注明提取后经过哪些核验,读者才能区分已确认数据与机器初步识别结果。
本节要点
- 上传成功与读取正确是不同判断
- 按行或页保留定位,先提取再清理与分析
- 看不清的内容保持不确定,不靠模型猜测补全
动手练习:制定一张清单照片的读取计划
- 使用虚构三行清单:彩纸三包、白纸十张、胶棒二支
- 写出逐行提取提示,要求保留单位与不确定项
- 设定三误读成八的错误,并写出复核和修订方法
自查清单
- 计划包含定位、单位和不确定性标注
- 修订依赖原材料,不依赖常识猜测或自信语气
先自己做,再查看参考答案
提取提示可写:按原图从上到下逐行输出行号、名称、数量、单位,不做求和,不推测看不清内容,无法确认处单独标注。若第三行或第一行数量被误读,应回到对应行的原图放大检查;原图不清晰时获取更清晰副本或请资料提供者确认,不能凭常见数量改正。核对后记录原识别值八、确认值三及依据位置,再进行清理。彩纸单位包与白纸单位张不能直接相加,没有每包张数资料时分别报告。最后改写说明只使用已核对的提取表,并注明未知项,上传完成和表格整齐都不作为正确性的证明。