待验证50% 置信事实精确时间

现代语言模型的词汇表规模通常在32,000到100,000个token之间，使用BPE或SentencePiece等分词方法

1

来源数

50%

置信度

长期有效

时效性

2026/8/28

首次发现

来源

同一提示词喂给11个AI模型，为何得到11种不同答案？

涉及实体

BPEconcept SentencePiececoncept

相关事实

待验证标准自回归语言模型的词表通常包含32,000到128,000个token78% 相似已验证目前主流大语言模型的上下文窗口从几万到几十万token不等72% 相似待验证Gemma系列使用SentencePiece分词器，在BPE基础上引入Unigram语言模型，词表约含256,000个条目71% 相似待验证大语言模型的上下文窗口有限，单次推理能处理的文本长度通常为数万至数十万Token71% 相似待验证15万token大约相当于10-12万英文单词的输入输出总量，换算成代码约为3000-5000行加上大量上下文对话和终端交互记录71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/810543

API

curl https://kongchang.com/api/v1/knowledge/claims/810543

MCP

get_claim(id=810543)