[控场AI]
产品

Chonkie

Python 生态中的文本分块库，专门针对 tiktoken 集成做了优化，在基于 BPE 分词的分块场景下性能表现突出

时间轴 (近 90 天)

10月5日

在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s

待验证50%
10月5日

在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先

待验证50%
10月5日

Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因

待验证50%

全部知识事实 (3)

待验证

在递归分块基准测试（1MB，1000/200）中，Chunkr 达到 2,264 MB/s，LangChain 为 769 MB/s，LlamaIndex 仅 10 MB/s，Chonkie 为 225 MB/s

50%待验证

在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先

50%待验证

Chonkie 专门针对 tiktoken 集成做了优化，而 Chunkr 在 tokenizer 调用层的适配尚未达到同等水平，这是 Chunkr 在 BPE 场景下落后的原因

50%

来源文章

Chunkr：用 Rust 打造的文本分块库，速度快 20 倍10月5日