待验证50% 置信事实精确时间
Gemma系列使用SentencePiece分词器，在BPE基础上引入Unigram语言模型，词表约含256,000个条目
1
来源数
50%
置信度
长期有效
时效性
2026/7/15
首次发现
来源
相关事实
待验证Gemma系列使用的SentencePiece分词器词表约含256,000个条目85% 相似已验证主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece68% 相似待验证Whisper 使用字节对编码（BPE）分词器，约50,000个 token 的多语言词表，支持99种语言65% 相似待验证为英语优化的BPE分词器会将印度语言文本切分为过多子词单元，导致序列长度膨胀和信息密度下降62% 相似待验证手语翻译的基准数据集（如 PHOENIX-2014T、CSL-Daily、How2Sign）规模通常仅有数千到数万条样本，远小于机器翻译领域数百万句对的平行语料60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/517765API
curl https://kongchang.com/api/v1/knowledge/claims/517765MCP
get_claim(id=517765)