待验证50% 置信事实精确时间
Dory 模型规格为：131,072 token 词表，隐藏维度 2560，16 个查询头，4 个 KV 头，头维度 256，约 6T 预训练 token，仅支持英语，训练涵盖 43 种编程语言。
1
来源数
50%
置信度
长期有效
时效性
2026/10/18
首次发现
来源
涉及实体
相关事实
待验证在8500万非嵌入参数、训练token预算匹配的实验中，无约束拟合在共同无约束解码器下于全部12种语言中产生了更高的留出集平均每字节比特数66% 相似待验证在大语言模型中，一个英文单词通常对应1-2个Token，一个中文字符通常对应1.5-2.5个Token，GPT-4的一次对话上下文窗口约为12.8万Token65% 相似待验证回译方法在奥里亚语和斯瓦希里语上，仅用1000对平行语料，在域内评测中比继续预训练高出7.7到16.4个XCOMET-XXL点。64% 相似待验证最终训练出的模型约有4亿（0.4B）参数，以孟加拉语为主要目标语言，使用约20亿tokens的语料63% 相似待验证Keera使用自研分词器，词表大小16,384，在Python代码上训练，平均3.9字符/token。62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1063738API
curl https://kongchang.com/api/v1/knowledge/claims/1063738MCP
get_claim(id=1063738)