流畅不等于正确:幻觉、核验与风险分级
- 识别无法被输入或来源支持的断言
- 根据错误后果安排不同强度的人工核验
一篇很像样的介绍也可能没有依据
小禾只提供活动名称和主题,工具却写出每人领取二十张免费彩纸,由资深导师带领。句子完整,读起来也很吸引人,但这两项安排都没有得到确认。生成式AI产出貌似真实、实际错误或缺乏依据的内容,常被称为幻觉。幻觉不限于编造知识,也可能表现为虚构引用、改变数字、忽略否定条件或把推测写成已发生事实。它不需要句子古怪才能出现,恰恰可能藏在最顺畅的段落里。
为什么要求认真回答仍然不够
语言模型擅长形成符合模式的文本,但生成目标不自动等同于逐项核实真实世界。缺少资料、问题含糊或资料相互冲突时,模型仍可能给出一个完整答案。提示不要编造可以帮助明确规则,却不能构成准确性保证。让同一个模型解释自己为什么正确也不是独立证据:它可能继续为原来的错误构造合理说明。可靠性来自输入质量、任务约束、可检查的输出结构和独立核验共同作用,而不是一个强调语气的词。
把一段文案拆成可核查的断言
先圈出能被证实或证伪的内容,例如日期、材料数量、参与限制和服务承诺。再给每项标记:原资料明确提供、由资料合理推导、仍需确认。小禾已给出十二人参加、每人三张纸,那么需要三十六张纸可以用乘法得到;免费领取二十张则不能从这些数据推出。推导时保留算式与假设,缺失信息直接写待确认。形容词如轻松有趣也需要考虑受众,但其判断方式与具体时间数字不同,不能混用同一种核验标准。
核验强度由失败后果决定
给内部讨论生成五个活动名称,错误后果较低,可以快速筛选;对外活动介绍会影响他人安排,应逐项核对时间、地点和参与条件;涉及高影响或专业判断的任务,不能仅凭聊天结果作决策,应由具备相应资格和责任的人审核。这里不把所有使用都描述成同样危险,也不鼓励因为任务普通就完全不检查。可以按影响范围、可逆程度和错误容易发现与否分级,把精力放在最可能造成实际误解的地方。
表达不确定性是一项工作能力
若资料冲突,小禾应写两份安排不一致,需负责人确认,而不是要求模型挑一个看起来更像真的。若输出没有来源,应标为待验证建议,不冒充正式通知。核验后也要保存所用版本和修改记录,方便别人追溯判断过程。工具的自信措辞、复杂排版、长篇解释甚至精确的小数,都不能代替证据。初学阶段最值得养成的习惯,是在接受答案前问一句:这条结论来自哪里,我用什么方法能独立检查它?
本节要点
- 幻觉可能隐藏在流畅、精确和自信的文字中
- 将事实、推导和待确认信息分开处理
- 按影响后果配置核验,不把模型自证当独立证据
动手练习:为活动介绍建立事实检查清单
- 使用已知资料:十二人参加,每人三张纸,日期待确认
- 检查文案:周六举行,每人免费二十张纸,总计准备三十六张纸
- 将每个断言分类,并写出可发布的修订稿
自查清单
- 识别两个无依据断言并正确保留算术推导
- 修订稿清楚标示不确定内容,没有继续猜测
先自己做,再查看参考答案
周六举行没有来源支持,应标为待确认;每人免费二十张纸同样没有依据,也不能因为听起来合理就保留。总计三十六张纸来自十二乘三,是基于已知人数和每人用量的推导,最好注明未包含备用量。修订稿可以写:星纸体验日计划安排十二人参与,基础用纸按每人三张估算,共需三十六张;是否增加备用材料由负责人确认。活动日期尚未确定,请以最终通知为准。这份稿件诚实呈现现有信息,没有补写未知安排。若要正式对外发布,还需要确认日期和参与条件,并再次对照批准的资料版本。