已过期50% 置信事实时间未知

Token是语言模型处理文本的基本单位，不等同于单个字符或单词；例如英文单词'unhappiness'可能被拆分为'un'、'happi'、'ness'三个Token

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/7/2

首次发现

有效期至：2026/9/30(已过期)

来源

Deep Dive into How OpenClaw (Open-Source Crayfish) AI Agent Works

bilibili今晚一起嗦粉叭

相关事实

已验证Token是大语言模型处理文本的基本计量单位，由BPE（字节对编码）等分词算法生成71% 相似待验证Token是大模型计费的基本单位，本质上是文本被分割后的最小语义片段70% 相似待验证Tokenization是模型处理文本的第一步，文本被分割为子词单元，每个Token对应词汇表中的一个ID69% 相似待验证Token是基于BPE等子词分词算法切分出的最小语义单元，而非简单等同于一个字或词66% 相似待验证Token是模型处理文本的最小计量单位，OpenAI使用BPE算法将高频字符组合编码为单一Token，约75个英文单词≈100个Token66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/54430

API

curl https://kongchang.com/api/v1/knowledge/claims/54430

MCP

get_claim(id=54430)