待验证70% 置信事实时间未知

现代LLM的分词器通常将文本压缩为约10万词汇量的Token序列

1

来源数

70%

置信度

长期有效

时效性

2026/6/1

首次发现

来源

GPT_API_free：免费调用GPT-4、DeepSeek等大模型API完整指南

githubchatanywhere

涉及实体

Tokenizerconcept

相关事实

待验证上下文窗口决定模型单次能处理的文本量：8K约6000词，32K约24000词，128K可处理整本书内容70% 相似待验证现代 LLM 通常使用字节对编码（BPE）或类似算法进行分词，英文中平均约 4 个字符对应 1 个 Token67% 相似待验证1M 上下文意味着模型可以一次性处理约 75 万个英文单词或数十万行代码67% 相似待验证LLMLingua等提示词压缩技术可在保留语义的同时将提示词长度压缩30%-50%66% 相似待验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/34360

API

curl https://kongchang.com/api/v1/knowledge/claims/34360

MCP

get_claim(id=34360)