待验证50% 置信事实精确时间

星辰4.0基于数十万亿tokens的数据基座，采用MLA、MTP、MHC等架构设计，并进行从4K到32K、128K、256K的分阶段长上下文训练

1

来源数

50%

置信度

长期有效

时效性

2026/9/24

首次发现

来源

星辰4.0 29B开源：4B激活参数把Agent安全带进企业内网

涉及实体

星辰4.0 29Bmodel MLAconcept MTPconcept MHCconcept

相关事实

待验证LLM的上下文窗口从早期的4K tokens扩展至数十万tokens，使模型具备维持复杂多步骤任务状态的能力66% 相似待验证配合YaRN、Dynamic NTK等插值技术，可以将训练长度4K的模型扩展到128K甚至1M的上下文窗口65% 相似待验证该配置实现了262K超长上下文、KV Cache Q4量化和MTP投机采样三项优化，将24GB显存利用率压榨到99%63% 相似待验证位置编码外推方案可将模型有效上下文从最初的4K、8K扩展至128K乃至百万级token63% 相似已验证大模型上下文窗口已从4K扩展到百万级token62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/946992

API

curl https://kongchang.com/api/v1/knowledge/claims/946992

MCP

get_claim(id=946992)