待验证50% 置信事实精确时间
Unigram语言模型分词由Kudo在2018年提出，从一个大词表出发逐步剪枝，保留使语料库似然损失最小的子词集合
1
来源数
50%
置信度
长期有效
时效性
2026/9/30
首次发现
来源
涉及实体
相关事实
已验证大型语言模型通过将输入文本分割为tokens来处理语言，tokens可以是完整单词、子词片段或单个字符64% 相似待验证传统n-gram模型和单语训练的神经语言模型在遇到跨语言词序列时会给出极低的概率分数，导致解码器倾向于将外语词强行映射为发音相近的本语言词64% 相似待验证对于正字法规则明确的低资源语言，标准化表音正字法使得分词、句子切分等基础任务可以通过确定性规则完成，无需依赖数据饥渴的深度学习模型64% 相似待验证后处理纠错词典方案通过维护音译拼写到正确术语的映射表，在识别结果输出后进行字符串替换，实现简单但需人工维护且对新术语无能为力63% 相似待验证非标准语域往往省略功能词（如冠词、系动词），使同样含义的句子字面更短，从而在长度导向的复杂度估计中显得更简单63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/963023API
curl https://kongchang.com/api/v1/knowledge/claims/963023MCP
get_claim(id=963023)