待验证50% 置信事实精确时间

主流子词分词器（如BPE、WordPiece）会将同一单词的不同书写形式（如hello、Hello、HELLO、Héllo）当作彼此不相关的独立词表条目

1

来源数

50%

置信度

长期有效

时效性

2026/9/16

首次发现

来源

Functionalizer：无损分解子词分词的新框架

涉及实体

BPEconcept WordPiececoncept

相关事实

待验证OpenAI 使用的 tiktoken 分词器基于 BPE 变体，英文单词通常被整体保留，罕见词汇被拆分为多个子词单元64% 相似已验证主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece64% 相似待验证端侧多语种语音识别在处理夹杂英文技术名词的非英语口述时，会将英文术语按发音音译成本地文字62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/924763

API

curl https://kongchang.com/api/v1/knowledge/claims/924763

MCP

get_claim(id=924763)