Unverified50% confidenceFactExact time
Gemma系列使用SentencePiece分词器，在BPE基础上引入Unigram语言模型，词表约含256,000个条目
1
Sources
50%
Confidence
Long-term
Relevance
7/15/2026
First Seen
Sources
Related Claims
UnverifiedGemma系列使用的SentencePiece分词器词表约含256,000个条目85% similarVerified主流分词器方案包括 BPE（Byte Pair Encoding）、WordPiece 和 SentencePiece68% similarUnverifiedWhisper 使用字节对编码（BPE）分词器，约50,000个 token 的多语言词表，支持99种语言65% similarUnverified为英语优化的BPE分词器会将印度语言文本切分为过多子词单元，导致序列长度膨胀和信息密度下降62% similarUnverified手语翻译的基准数据集（如 PHOENIX-2014T、CSL-Daily、How2Sign）规模通常仅有数千到数万条样本，远小于机器翻译领域数百万句对的平行语料60% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/517765API
curl https://kongchang.com/api/v1/knowledge/claims/517765MCP
get_claim(id=517765)