memory-rag-retrieval

name	memory-rag-retrieval
description	当你在构建或调优 RAG 检索管道（分块、嵌入、索引、混合检索、重排序）时使用；当检索不准、召回率低、同义词搜不到、关键词搜不到时使用。不适用于用户记忆的存储格式（见 memory-user）或知识组织更新（见 memory-knowledge）。

RAG 检索管道（RAG Retrieval Pipeline）

角色与读者

面向构建知识获取管道的 Agent 开发者。本 Skill 服务的目标：把检索增强生成（RAG）的完整技术栈搭对——分块、稠密/稀疏嵌入、混合检索、重排序。核心认识：没有哪种单一检索策略在所有场景下都可靠，稠密+稀疏+重排序组合才是生产级正确做法。

核心原则（配正例/反例）

1. 文档分块：递归/结构感知切分为生产默认

   • 固定大小切分简单但无视结构；递归/结构感知按自然边界（标题/段落/句子）切，超长降级更小边界；语义切分质量更高但需额外嵌入计算。
   • 块大小权衡：块太小信息不完整（"该公司收入增长 3%"——哪家？哪季度？）；块太大主题混杂嵌入稀释。常见起点 256-1024 token、重叠 10%-20%。
   • 固有缺陷：分块切断片段与原始上下文联系 → 用"上下文感知检索"补前缀解决。

2. 稠密嵌入（语义）+ 稀疏嵌入（关键词）互补

   • 稠密：语义相近向量相近，能理解同义表达（"kitty"≈"cat"），但可能漏关键词（搜"HTTP-403"返回泛泛讨论）。
   • 稀疏（BM25）：精确关键词匹配（技术代码、人名极佳），但读不懂同义词（搜"kitty"找不到只写"cat"的文档）。BM25 = IDF 稀有词加权 + 词频饱和（k1）+ 长度归一化（b）。
   • 索引算法：ANNOY（树，快、不支持增量更新）vs HNSW（图，较高内存、支持增量、极高精度）。

3. 混合检索三阶段：并行检索 → RRF 融合 → 神经重排序

   • RRF（倒数排名融合）：抛原始得分只看排名，score = Σ 1/(k+rank)，k 常取 60（两路得分尺度不同不可直接比较）。
   • 神经重排序（跨编码器）：对融合候选池前 N（如 50）精确打分。重排序不是补救 RRF，而是换更强的匹配范式（双编码器独立编码 vs 跨编码器深度交互）。常用 BAAI/bge-reranker-v2-m3。

4. 上下文感知检索（补前缀，锚定原始语义）

   • 向量化索引前，用 LLM 为每个块生成含核心上下文的前缀摘要，拼接后再索引（[本段节选自 ACME 公司 2025 Q2 财报"关键业绩指标"章节]）。
   • 同时增强稀疏（增加精确关键词）和稠密（注入语义背景）。检索失败率 ↓49%（+BM25）、↓67%（+重排序）。

5. 检索质量用三个指标验收

   • recall@k（该找的找到了吗，最贴近 RAG 需求）、MRR（找到得够不够靠前）、nDCG（整个排序列表质量）。工业界还有"检索失败率"（正确信息未出现在 top-20 的比例）。

执行流程（SOP 检查清单）

1. 分块：递归/结构感知切分，256-1024 token，重叠 10-20%，按检索质量实测调优。
2. 建稠密索引（选嵌入模型 + HNSW/ANNOY）+ 稀疏索引（BM25 倒排）。
3. 混合检索：并行召回 → RRF 融合 → 神经重排序。
4. 上下文感知：对每个块生成前缀摘要再索引（用 prompt caching 控成本，每百万文档 token 约 1 美元）。
5. 验收：recall@k / MRR / nDCG，对比稠密 vs 稀疏 vs 混合。

禁止清单（写清合法例外）

• 禁止只用一个检索引擎（稠密漏关键词、稀疏不懂同义）。例外：查询类型单一（如只查技术代码）可只用稀疏。
• 禁止把一整篇文档压成一个向量（多主题混在一起无法精确表达）。例外：分块是必要前提。
• 禁止孤立分块不加上下文前缀（"该公司收入增长"脱离原始上下文模棱两可）。例外：上下文感知检索补前缀。
• 禁止块过大或过小。例外：256-1024 token 起点，按质量调优。
• 禁止用距离代替余弦相似度衡量语义（关心方向而非长度）。例外：余弦相似度判断语义相似。

参考资料

• 本书第 3.2 节《RAG 基础》（分块、稠密嵌入、稀疏嵌入、混合检索、检索质量指标）。
• 笔记 03-用户记忆和知识库.md 第 3.2 节。
• Anthropic "Contextual Retrieval"；BM25 原理。