Q&A分块RAG实践：税务合规助手设计思路解析

项目背景

一位开发者分享了为印度GST（商品及服务税）合规构建的RAG（检索增强生成）聊天机器人实践案例。该项目基于官方政府FAQ文档，目标是为税务问题提供可溯源的准确回答。与常规RAG系统不同，这个项目在文档分块策略上做了针对性优化。

RAG是2020年由Meta AI研究团队提出的一种将信息检索与文本生成相结合的架构范式。传统大语言模型（LLM）仅依赖训练时学到的参数化知识进行回答，容易出现"幻觉"——即生成看似合理但事实错误的内容。RAG通过在生成阶段之前引入外部知识检索步骤来缓解这一问题：先将用户问题转换为向量表示，在预先构建的知识库中检索最相关的文档片段，再将这些片段作为上下文传递给LLM进行回答。这种架构使模型能够基于实际文档内容生成回答，特别适合需要事实准确性的专业领域应用。

值得注意的是，印度GST税制本身的复杂性正是这类工具的核心驱动力。GST于2017年7月1日正式实施，取代了此前中央和各邦层面的多种税种（如增值税、服务税、消费税等）。该体系涉及CGST（中央GST）、SGST（邦GST）、IGST（综合GST）三种税种，税率从0%到28%不等，还有多种豁免和特殊规定。印度政府发布了大量的FAQ文档、通告和裁定来解释各类规则，这些文档频繁更新且条文细致。对于中小企业主和税务从业者来说，快速准确地查找适用条款是一个显著的痛点。

核心创新：语义单元分块

为什么要摒弃固定大小分块

传统RAG系统通常采用固定大小的文本分块（如512或1024 tokens），这种方式存在明显缺陷：完整的答案可能被强行切割到不同的块中，导致语义完整性被破坏。开发者选择了更符合内容结构的分块方式——将每个FAQ提取为独立的Q&A对，作为一个完整的语义单元进行向量化。

从技术角度看，文本分块（Chunking）是RAG系统中影响检索质量的关键环节。固定大小分块按照token数量机械地切割文本，实现简单但语义感知能力差。业界已发展出多种替代方案：递归字符分割（按段落、句子等层级递归切分）、基于语义相似度的分块（检测语义转折点进行切割）、以及本项目采用的基于文档结构的分块。结构化分块的核心思想是利用文档的原生组织方式——FAQ的问答对、法律文本的条款、API文档的端点描述——作为分块边界。这种方法保留了作者组织信息的意图，使得每个分块都是一个自包含的知识单元，在检索时更容易与用户意图精确匹配。

这种方法带来三个关键优势：

语义完整性：问题和答案天然成对，避免了上下文割裂

检索精准度：用户提问与FAQ问题的匹配更直接

可解释性：每个检索结果都是完整的知识单元

技术栈选择

项目采用BGE-M3模型进行文本嵌入，这是一个支持多语言、多粒度的嵌入模型，特别适合跨语言和领域特定的文档检索场景。BGE-M3由北京智源人工智能研究院（BAAI）开发，其名称中的三个M分别代表Multi-Linguality（多语言）、Multi-Functionality（多功能）和Multi-Granularity（多粒度）。该模型支持超过100种语言，能够同时生成稠密向量、稀疏向量和ColBERT风格的多向量表示，最大输入长度可达8192个token。在多语言基准测试MTEB和MIRACL上均表现优异。对于印度税务场景，BGE-M3的多语言能力尤为重要——印度官方文档可能混合使用英语和印地语等本地语言，传统的单语言嵌入模型在处理这类混合语言文档时效果往往不理想。

向量存储使用Qdrant，这是一个高性能的向量数据库，支持高效的相似度搜索和灵活的过滤机制。Qdrant用Rust语言编写，与Pinecone、Weaviate、Milvus等同类产品相比，以其内存效率和查询速度著称。它支持多种距离度量（余弦相似度、欧几里得距离、点积等），提供丰富的过滤功能（可在向量搜索的同时施加元数据条件过滤），并支持分片和副本实现水平扩展。Qdrant既可以作为独立服务部署，也可以通过Python客户端以嵌入式模式运行，这种灵活性使其特别适合从原型到生产的平滑过渡。

质量控制机制

相似度阈值过滤

开发者在LLM处理前增加了相似度阈值检查。只有当检索到的FAQ与用户问题的相似度超过设定阈值时，才会将其传递给大语言模型。这一机制有效防止了不相关内容的干扰，提升了答案的可靠性。

这一设计背后有着重要的工程考量。在RAG系统中，向量检索总会返回"最相似"的结果，但"最相似"不等于"足够相似"。当知识库中不包含与用户问题相关的内容时，检索到的结果可能与问题完全无关，但仍会被传递给LLM。LLM在看到这些不相关的上下文时，可能会牵强附会地生成看似合理的回答，造成严重的误导。相似度阈值机制本质上是一个"守门人"——通过设定最低相似度分数（例如0.7），将低于阈值的检索结果过滤掉。阈值的选择需要在召回率和精确率之间权衡：阈值过高可能导致有效答案被误过滤，阈值过低则可能引入噪声。实践中通常需要通过评估集进行调优。

强制溯源与拒答能力

系统提示词中明确要求：

• 所有回答必须引用来源
• 当检索结果不相关时，必须明确回复"我不知道"

开发者对系统进行了对抗性测试，故意提出偏离主题的问题，系统表现出良好的拒答能力。这在实际应用中至关重要——一个会胡编乱造的税务咨询系统可能带来严重的法律和财务风险。

实践意义与思考

领域特定RAG的设计哲学

这个项目揭示了一个重要原则：RAG系统的分块策略应该与内容的自然结构对齐。对于FAQ文档，Q&A分块是自然选择；对于技术文档，可能按章节或API条目分块更合理；对于法律文本，可能需要按条款分块。

盲目套用通用的固定大小分块，可能会损失文档的结构化信息，降低检索效果。

开源与可复现性

开发者在GitHub上开源了完整代码，并在Hugging Face Spaces上部署了在线演示。这种开放态度为其他领域特定RAG应用提供了可参考的实现范例。

潜在改进方向

尽管项目已经展现出良好的效果，但仍有一些值得探索的优化空间：

混合检索策略：结合关键词检索（BM25）和向量检索，在不同场景下提高召回率和精准度。BM25是一种经典的基于词频的文本检索算法，由Stephen Robertson等人在1990年代提出，至今仍是Elasticsearch等搜索引擎的核心排序算法。它通过计算查询词在文档中的词频（TF）、逆文档频率（IDF）和文档长度归一化来评估相关性。与向量检索依赖语义理解不同，BM25擅长精确匹配关键词和专有名词。在税务场景中，像"GSTR-3B""HSN代码""第16条"这类精确术语的检索，BM25往往比纯向量检索更可靠。混合检索通过同时运行两种检索并用倒数排名融合（RRF）等方法合并结果，兼顾语义理解和精确匹配的优势。

动态阈值调整：根据问题的复杂度或用户反馈动态调整相似度阈值，在准确性和覆盖率之间取得更好的平衡。

多跳推理支持：当单个FAQ无法完整回答问题时，尝试组合多个相关FAQ进行综合回答。多跳推理（Multi-hop Reasoning）指的是需要从多个信息源中依次或组合提取信息才能回答的复杂问题。例如，用户问"注册资本低于20万卢比的服务型企业是否需要缴纳GST"，可能需要分别检索"GST注册门槛""服务业适用规则""小规模企业豁免条件"等多个FAQ后综合判断。实现多跳推理的常见方法包括：迭代检索（根据第一轮检索结果生成新的查询继续检索）、图结构检索（将知识组织为图谱并沿关系边遍历）、以及基于Agent的方法（让LLM自主决定是否需要追加检索）。多跳推理能显著提升复杂问题的回答能力，但也增加了延迟和出错的概率。

用户反馈循环：收集用户对答案质量的评价，用于持续优化检索和生成策略。

总结

这个税务合规助手项目展示了领域特定RAG系统的核心设计思路：从文档的自然结构出发，选择合适的分块粒度；通过阈值过滤和提示词工程保证输出质量；强调可溯源性和拒答能力。这些原则不仅适用于税务合规场景，也为其他需要高准确度的专业领域问答系统提供了有价值的参考。