待验证50% 置信事实精确时间

词袋模型将文本拆解为词的集合，忽略语序，只统计每个词出现的频率或权重

1

来源数

50%

置信度

长期有效

时效性

2026/9/29

首次发现

来源

文本分类模型演进：从词袋到Transformer的可视化解析

涉及实体

词袋模型concept

相关事实

待验证Unigram 模型由 SentencePiece 库实现，从大词表出发逐步剔除对整体似然贡献最小的子词来缩减词表75% 相似已验证大模型处理文本以Token（词元）为最小处理单元，由分词器完成切分73% 相似待验证词汇-韵律单元化与分块方法仅对连续的词单元进行池化处理，以在文本和语音两种模态中保留事件的身份和量级73% 相似待验证大语言模型通过反向传播算法将文本统计规律编码进参数中，不以传统方式存储原始数据，但高频文本可能产生记忆化现象并近乎逐字输出73% 相似待验证大语言模型在进行文本摘要时，其取舍标准基于统计概率和语义相关性，而非法律上的重要性判断71% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/958803

API

curl https://kongchang.com/api/v1/knowledge/claims/958803

MCP

get_claim(id=958803)