待验证50% 置信事实精确时间

WordPiece由Google提出并被BERT采用，其合并准则最大化语言模型的似然度而非单纯统计频次

1

来源数

50%

置信度

长期有效

时效性

2026/9/30

首次发现

来源

Tokenization深度综述：现代NLP中被低估的核心环节

涉及实体

WordPiecetechnology Googlecompany BERTmodel

相关事实

待验证SentencePiece是Google提出的一种与语言无关的分词框架，直接在原始文本上建模，适合多语言和无明确词边界的语言76% 相似待验证2018年Google发布的BERT引入双向上下文编码，Sentence-BERT专为句子级语义相似度优化72% 相似已验证现代大模型普遍采用的字节对编码（BPE）或WordPiece算法本质上是一种数据驱动的形态学切分方法71% 相似待验证WordPiece以最大化语言模型似然为目标来决定合并策略70% 相似已验证现代LLM普遍采用BPE（字节对编码）或WordPiece算法进行分词67% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/963022

API

curl https://kongchang.com/api/v1/knowledge/claims/963022

MCP

get_claim(id=963022)