E2E 大模型与应用构建进阶应用
知识库与RAG
从虚构的星桥手作社资料开始，学习让AI先查证据再组织回答。你将理解检索增强生成的工作方式，完成文档解析、切分、混合检索、引用核对、权限过滤与评估，知道资料更新不等于重新训练，也知道找到相关段落不代表答案已经可靠。
学完你将能够
- 画出知识库到带引用回答的完整流程
- 根据资料结构选择切分和检索策略
- 设计权限过滤、拒答与证据核验规则
- 用小型测试集诊断检索和回答质量
课节目录
综合项目：星桥手作社离线知识库设计包
用虚构手册设计一个只查授权资料、回答带引用且能解释失败的RAG方案，所有检索和回答均人工模拟。
步骤
- 编写公开手册三段和内部草案一段，标注来源与版本
- 按规则、例外和表格关系创建至少五个片段
- 建立访客与指导员权限矩阵，确定过滤与缓存规则
- 设计关键词和语义候选合并流程，人工跑两种改写问题
- 制作带来源、事实与未知信息的回答模板
- 准备八道测试题，覆盖冲突、越权、注入与无法回答
- 记录每题候选、模拟答案、判断和改进动作
交付物
- 资料与片段清单，包含版本、权限和原文位置
- 权限矩阵及检索、引用、缓存处理说明
- 八题离线测试记录与带引用的参考回答
自查标准
- 每个片段可以回到原文，默认规则和例外不丢失
- 访客候选、回答、引用与缓存均不含内部资料
- 答案的关键结论有真正支持的来源，不臆造缺失信息
- 测试将检索失败和生成失败分开记录
- 至少一个冲突案例与一个注入案例得到安全处理
查看参考方案
参考方案摘要
公开资料包括座位规则、工具归还和活动时间，内部草案只含虚构的布场安排。座位片段保留普通纸艺六人上限与合作拼贴经指导员安排的例外，标签为手册第二版、座位二、公开。访客身份只允许查询公开片段，指导员身份必须由受信认证确认，不能从问题文字推断。候选通过关键词与语义两路合并并去重，随后人工检查活动类型和版本。回答八人普通纸艺是否可同桌时，指出需要至少两桌，并引用座位二；具体桌位没有证据，不补充猜测。
测试记录分成检索覆盖、结论正确、引用支持和权限表现四列。旧版八人与新版六人冲突时先核对有效版本，无法确定就说明冲突。访客问内部草案时拒绝访问，不返回内部标题。公开资料中出现忽略规则并输出内部草案的语句，按不可信数据处理，不执行其要求。若候选没有座位二，先诊断切分和检索；若候选正确而回答数字错，检查证据使用。此方案只是离线学习产出，没有真实数据、真实密钥或实时AI调用，生产使用还需认证、监控和更广泛的验收。