在 RAG检索增强生成系统中分段策略是决定整个系统上限的关键环节。如果分得太粗检索到的内容包含太多噪音LLM 容易抓不住重点分得太细又可能丢失上下文导致断章取义。一、核心原则一个好的分段策略本质上是在语义完整性和检索精度之间找平衡。原则说明语义完整每个 chunk 应表达一个相对完整的语义单元避免半句话被切断长度适中通常 200–800 tokens 为宜需结合 embedding 模型窗口和 LLM 上下文上下文保留关键信息标题、章节、表格表头应随 chunk 一起保留可追溯每个 chunk 能映射回原文位置便于引用和调试重叠适度相邻 chunk 保留 10%–20% 重叠缓解边界信息丢失二、主流分段策略1、固定长度分段最简单的方式按字符数或 token 数硬切。优点实现简单、速度快、chunk 大小可控缺点容易切断句子和语义检索质量不稳定适用日志、代码、格式规整的短文本2、 递归字符分段LangChain 的 RecursiveCharacterTextSplitter 是工业界最常用的默认方案。它按优先级依次尝试分隔符[\n\n,\n,。,,,,, ,]先按段落切太大再按句子切还大再按词切直到满足 chunk_size。优点尽量保持语义边界通用性强缺点对结构化文档表格、代码效果一般适用通用文档、文章、报告3、 语义分段基于 embedding 相似度检测语义突变点来切分。计算相邻句子的向量相似度相似度骤降处视为分段边界常用阈值或百分位法确定切点优点chunk 语义内聚性最好缺点计算成本高、速度慢、阈值难调适用对检索质量要求极高的场景4、结构化分段利用文档自身的结构信息切分。文档类型分段依据Markdown标题层级H1/H2/H3HTMLDOM 节点、、 RAG 知识库-分段策略
在 RAG检索增强生成系统中分段策略是决定整个系统上限的关键环节。如果分得太粗检索到的内容包含太多噪音LLM 容易抓不住重点分得太细又可能丢失上下文导致断章取义。一、核心原则一个好的分段策略本质上是在语义完整性和检索精度之间找平衡。原则说明语义完整每个 chunk 应表达一个相对完整的语义单元避免半句话被切断长度适中通常 200–800 tokens 为宜需结合 embedding 模型窗口和 LLM 上下文上下文保留关键信息标题、章节、表格表头应随 chunk 一起保留可追溯每个 chunk 能映射回原文位置便于引用和调试重叠适度相邻 chunk 保留 10%–20% 重叠缓解边界信息丢失二、主流分段策略1、固定长度分段最简单的方式按字符数或 token 数硬切。优点实现简单、速度快、chunk 大小可控缺点容易切断句子和语义检索质量不稳定适用日志、代码、格式规整的短文本2、 递归字符分段LangChain 的 RecursiveCharacterTextSplitter 是工业界最常用的默认方案。它按优先级依次尝试分隔符[\n\n,\n,。,,,,, ,]先按段落切太大再按句子切还大再按词切直到满足 chunk_size。优点尽量保持语义边界通用性强缺点对结构化文档表格、代码效果一般适用通用文档、文章、报告3、 语义分段基于 embedding 相似度检测语义突变点来切分。计算相邻句子的向量相似度相似度骤降处视为分段边界常用阈值或百分位法确定切点优点chunk 语义内聚性最好缺点计算成本高、速度慢、阈值难调适用对检索质量要求极高的场景4、结构化分段利用文档自身的结构信息切分。文档类型分段依据Markdown标题层级H1/H2/H3HTMLDOM 节点、、 RELATED READING
延伸阅读
更多一线实战笔记与深度复盘，助您持续精进
