待验证80% 置信事实时间未知
2006年Google翻译初始系统使用了一个在数万亿词文本上训练的5-gram语言模型，这很可能是世界上第一次万亿token规模的语言模型训练
1
来源数
80%
置信度
长期有效
时效性
2026/6/1
首次发现
来源
Google翻译20年技术演进：从万亿token到TPU再到Gemini
twitterJeffDean
涉及实体
相关事实
已验证2022年谷歌Brain团队在论文《Emergent Abilities of Large Language Models》中首次系统记录了大语言模型的'涌现能力'现象76% 相似已验证大语言模型通过在数千亿乃至数万亿个词元（Token）的文本数据上进行自监督预训练76% 相似待验证现代多语言模型如mT5、BLOOM和Llama系列在数百种语言的文本上联合训练，通过共享词汇表和跨语言注意力机制构建跨语言语义地图70% 相似已验证目前主流大语言模型的上下文窗口从几万到几十万token不等67% 相似待验证BERT（2018年，Google）采用掩码语言模型（MLM）实现双向上下文理解，但无法生成连贯文本66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/22940API
curl https://kongchang.com/api/v1/knowledge/claims/22940MCP
get_claim(id=22940)