Chunkr
基于 Rust 实现的高性能文本分块库，支持多种分块策略（字符、递归、Markdown、延迟、层级分块等），内置 PDF 加载器，比主流 Python 分块工具速度快数倍至数百倍
时间轴 (近 90 天)
Chunkr 是一个用 Rust 实现的文本分块库，支持字符分块、递归分块、Markdown 标题分块、延迟分块、层级分块等多种分块策略，并内置原生 PDF 加载器及其他文件类型支持
在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s
在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先
在 PDF 全文解析测试中，Chunkr PDFLoader 耗时 747.9 ms（2,762 页/秒），相比作为基准的 pypdf 快 15.9 倍，PyMuPDF 快 4.5 倍
所有基准测试均在作者的 MacBook（M4 芯片、16GB 内存）单机上完成，缺少第三方复现
Chunkr 的基准测试只衡量吞吐量（MB/s），并未给出分块准确性或召回率的对比指标
Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因
全部知识事实 (7)
Chunkr 是一个用 Rust 实现的文本分块库，支持字符分块、递归分块、Markdown 标题分块、延迟分块、层级分块等多种分块策略，并内置原生 PDF 加载器及其他文件类型支持
50%待验证在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s
50%待验证在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先
50%待验证在 PDF 全文解析测试中，Chunkr PDFLoader 耗时 747.9 ms（2,762 页/秒），相比作为基准的 pypdf 快 15.9 倍，PyMuPDF 快 4.5 倍
50%待验证所有基准测试均在作者的 MacBook（M4 芯片、16GB 内存）单机上完成，缺少第三方复现
50%待验证Chunkr 的基准测试只衡量吞吐量（MB/s），并未给出分块准确性或召回率的对比指标
50%待验证Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因
50%