待验证50% 置信事实精确时间
当前主流前沿模型的输出上限多在 64K、128K 或 256K token。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/14
首次发现
有效期至：2027/1/12
来源
涉及实体
相关事实
待验证128K 字符的输出上限约相当于 3-4 万个 token74% 相似已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB73% 相似待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。72% 相似待验证将上下文从 128K 压缩到 32K，同一张 GPU 可服务的并发用户数可能翻两番，存在吞吐量与上下文长度之间的权衡72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1030349API
curl https://kongchang.com/api/v1/knowledge/claims/1030349MCP
get_claim(id=1030349)