待验证60% 置信事实精确时间
SentencePiece是Google提出的一种与语言无关的分词框架，直接在原始文本上建模，适合多语言和无明确词边界的语言
2
来源数
60%
置信度
长期有效
时效性
2026/8/28
首次发现
来源
涉及实体
相关事实
待验证SentencePiece由Google的Kudo和Richardson在2018年提出，将输入文本视为原始字符流，不依赖预分词步骤76% 相似待验证WordPiece由Google提出并被BERT采用，其合并准则最大化语言模型的似然度而非单纯统计频次76% 相似待验证SentencePiece工具库对Unigram语言模型分词有完整实现72% 相似待验证OpenAI 使用 tiktoken 分词算法，Google 使用 SentencePiece 分词算法68% 相似待验证OpenAI使用BPE（Byte Pair Encoding）算法进行分词，Google的SentencePiece采用与语言无关的分词方法直接在原始文本上训练65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/813374API
curl https://kongchang.com/api/v1/knowledge/claims/813374MCP
get_claim(id=813374)