待验证50% 置信事实精确时间
Transformer 输入文本首先经过 Tokenizer 分词，把文本切成 N 个 Token，Token 是语言模型理解语义的最小单元
1
来源数
50%
置信度
长期有效
时效性
2026/9/15
首次发现
来源
涉及实体
相关事实
待验证大语言模型底层的Transformer架构不直接处理原始字符，而是先通过分词器将文本切分为子词单元，再映射为高维向量进行计算74% 相似待验证Tokenization是模型处理文本的第一步，文本被分割为子词单元，每个Token对应词汇表中的一个ID73% 相似待验证字符计数错误源于Transformer的tokenizer以子词为基本单位处理文本而非字符，是主流LLM的共同短板72% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分72% 相似待验证Transformer架构采用自回归方式生成文本，每次输出一个Token并追加到输入序列后预测下一个Token，导致推理过程串行72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/923463API
curl https://kongchang.com/api/v1/knowledge/claims/923463MCP
get_claim(id=923463)