已验证80% 置信事实时间未知

标准自回归语言模型的词表通常包含32,000到128,000个token

4

来源数

80%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

语法约束解码：让小模型生成可靠Bash代码的实战指南

rss

相关事实

待验证现代语言模型的词汇表规模通常在32,000到100,000个token之间，使用BPE或SentencePiece等分词方法78% 相似待验证Layla英文版为4.2亿参数，多语言版为3.2亿参数并覆盖上百种语言，另有一个针对工作流微调的版本68% 相似待验证最新的大语言模型支持12.8万到100万token的上下文，但处理数十万字长篇小说时仍会出现信息遗忘和前后矛盾67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/21216

API

curl https://kongchang.com/api/v1/knowledge/claims/21216

MCP

get_claim(id=21216)