待验证50% 置信基准精确时间

在 BPE 分词（cl100k_base，512/50）场景下，Chunkr 为 38 MB/s，Chonkie 以 151 MB/s 领先

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/5

首次发现

有效期至：2027/1/3

来源

Chunkr：用 Rust 打造的文本分块库，速度快 20 倍

涉及实体

Chunkrproduct Chonkieproduct cl100k_basetechnology

相关事实

已验证以LLaMA-2 70B为例，处理4096 token上下文、批量大小32时，KV Cache可消耗超过80GB显存66% 相似待验证主流BPE词表规模通常为32K-128K，全量成对相似度矩阵的内存占用可超过数十GB64% 相似已验证LLaMA-2-70B在128K上下文长度下单请求KV Cache可占用超过160GB显存63% 相似已验证LLaMA-2 7B 在 4096 Token 上下文下 KV Cache 约占 2 GB，扩展到 32K 上下文时可飙升至 16 GB 以上61% 相似待验证用户在Threadripper平台配备512GB DDR4内存，通过将专家层卸载到内存，以约8 token/s的速度运行DeepSeek 671B61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/977587

API

curl https://kongchang.com/api/v1/knowledge/claims/977587

MCP

get_claim(id=977587)