评估与整合：定位知识库回答的失败环节

不要只问回答看起来好不好

星桥手作社准备展示知识库助手，团队发现多数回答很友好，却不知道它是否稳定。评估要把期待写成可检查的条件，而不是只让一个人凭感觉点赞。先整理一组问题，覆盖人数规则、工具位置、版本冲突、资料未覆盖问题和越权请求。每题标注允许的来源、应有的关键结论和应避免的内容。这个小型测试集可以完全用纸面记录和模拟答案完成，不需要实时调用任何AI。

先测检索，再测回答

检索覆盖关注应找到的证据是否进入候选。例如十个有明确答案的问题，八个找到了必需片段，覆盖比例为八成。这个数字依赖问题样本，不能推成所有场景都八成可靠。回答评估则检查是否准确使用证据、是否保留条件、引用是否支持结论。检索找到六人规则但答案仍说八人同桌，问题在生成或证据使用；原文有规则但候选完全没有它，问题更可能在解析、切分、过滤或检索。

完整诊断记录的样子

建立一张表，列问题、预期来源、实际候选、模拟回答、失败环节和改进动作。问题一是普通纸艺八人同桌，预期来源为座位二，候选只有活动时间，改进方向是检查关键词和切分。问题二候选正确却漏了合作拼贴需安排的条件，改进方向是要求保留条件并检查回答。问题三访客问内部草案，候选出现内部片段，必须优先修复授权过滤，而不是仅在回答里补一句不能公开。

好的测试集要有难题和反例

只测试手册原句，很容易高估效果。加入同义表达、精确编号、容易混淆的活动、旧版与新版冲突、多段证据共同支持、无法回答和提示注入样例。安全测试可以使用完全虚构的标记文本，不使用真实内部文件或个人数据。调试时用一部分题发现问题，另留一部分题用于最终检查，避免只对已知题调整到满意。维护者更新手册后，应重新运行相关题目，确认索引与引用没有停留在旧版本。

综合方案与上线边界

最终交付不只是一个聊天页面，而是资料清单、切分示例、权限矩阵、检索策略、回答模板和测试记录。规定何时拒答、谁能修订资料、如何处理冲突，以及异常时如何停用有问题的来源。性能和成本也要记录，例如每题使用多少片段，但不能为了省上下文删掉必要条件。展示通过说明流程合理，生产使用还需要更广泛的测试、稳定的认证与运行监控。本课的综合成果是可审阅的设计与模拟记录，不承诺页面实际执行检索或开放题自动评分。