待验证50% 置信权衡取舍精确时间
基础模型的 1M 上下文是通过 YARN 覆盖拉伸其原生 262,144 位置实现的，而 DFlash2 草稿模型无法与 1M 上下文同时运行，因此需在 1M 无草稿模型和 256K 带草稿模型之间二选一。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
待验证模型原生支持256K Token上下文，可通过YaRN技术实现4倍缩放扩展至约100万Token69% 相似待验证1-bit LLM 的核心思路是将模型权重压缩到每个参数仅约1比特的水平68% 相似待验证目前主流编程模型的上下文窗口从32K到1M Token不等，Qwen系列部分模型支持到1M67% 相似待验证该基准使用锁定在特定commit的llama2.c，配合TinyStories的FP32检查点（15M、42M、110M参数），这些是跑在llama2.c上的小模型而非完整的Llama 266% 相似已验证1750亿参数模型仅模型权重（BF16精度）就需350GB存储，Adam优化器需维护一阶矩和二阶矩两份状态，合计超过1TB65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033440API
curl https://kongchang.com/api/v1/knowledge/claims/1033440MCP
get_claim(id=1033440)