关键词、向量与混合检索
- 解释关键词检索与语义检索各自的优势
- 用候选排序诊断检索偏差
同一个意思可以有不同说法
手册写工具归还,用户却问剪刀用完放哪里。只寻找完全相同的词,可能漏掉正确段落;但如果用户问编号纸艺七的材料包,精确编号又非常重要。检索的任务是从许多片段中找到值得核对的候选,而不是直接证明答案。星桥手作社同时保留规则名称、工具名称和活动编号,我们需要根据问题特点使用不同的查找信号。先理解这些信号,比背诵搜索算法名称更有用。
两种查找方式各擅长什么
关键词检索关注词语出现和匹配情况,适合编号、专用名称、明确短语等线索。向量检索先把问题和片段转换为数值表示,再比较表示之间的相近程度,往往能找出措辞不同但意思相似的内容。这里向量是方便比较的数值表示,不是把真实世界知识压成绝对正确的坐标。语义相近的两段可能讨论不同活动,也可能存在否定和条件差异,所以相似分数不能当作事实准确率。
混合检索的完整小例子
问题是纸艺七活动的剪刀归还位置。关键词查找可能把包含纸艺七的材料清单放在前面,向量查找可能优先找到工具归还规则。混合检索将两种方式的候选合并,再结合相关性重新排序。合理结果可能是先呈现工具归还的蓝色盒子规定,再呈现纸艺七确实使用剪刀的清单。不要简单相加不同算法的原始分数,因为它们的数值尺度未必一致;入门练习可以直接比较各自排名,再用人工判断是否支持问题。
重排与数量不是万能开关
重排是对初步候选再做更细的相关性判断,例如检查活动类型是否一致、是否真的回答归还位置。它可以提高排序质量,但不能恢复从未进入候选池的资料。取前若干片段时,数量太少可能漏掉例外,太多又会混入无关资料。若五个候选都来自同一段重复文字,看起来丰富,实际上证据范围很窄。可以先按来源去重,再检查默认规则和例外是否都被覆盖,而不是盲目扩大结果数量。
用反例检验检索策略
准备三类问题:精确编号问题、同义改写问题和容易混淆的活动问题。对每个问题先写正确来源,再记录实际前几个候选。问黏土工具归还位置时,不应因为剪刀归还段落很相近,就把纸艺规则误用到黏土。还要先按访问权限过滤,不能为了排序效果让无权片段进入候选。检索改进应建立在真实错例上:编号漏检可加强关键词,改写漏检可尝试语义查找,活动混淆则可能需要元数据过滤和更完整上下文。
本节要点
- 关键词适合精确线索,向量适合同义表达
- 相似分数不是事实准确率
- 混合、去重和重排要用具体错例验证
动手练习:给两个检索榜单做人工合并
- 设置问题:纸艺七的剪刀用完放哪里
- 写关键词候选:活动清单、工具归还、签到说明;写语义候选:工具归还、黏土收纳、活动清单
- 合并去重,选两段证据,并解释为什么排除黏土收纳
自查清单
- 正确区分直接证据和辅助证据
- 排除活动类型不匹配的候选
先自己做,再查看参考答案
参考排序把工具归还放在第一位,活动清单放在第二位。工具归还直接说明纸艺剪刀放回蓝色工具盒,活动清单用于确认纸艺七包含剪刀使用,两者作用不同。黏土收纳虽然和工具放置语义相近,但活动类型不同,不能直接支持纸艺问题,签到说明则没有提供工具位置。这个过程不是把两张榜单上的分数机械相加,而是先合并重复来源,再检查每段是否适用于问题。若归还规则还写有特殊工具交给指导员,应保留该条件,不能为了简短删掉例外。