待验证50% 置信事实精确时间

TF-IDF中IDF衡量词在整个语料库中的稀有程度，出现在越多文档中的词IDF值越低

1

来源数

50%

置信度

长期有效

时效性

2026/9/29

首次发现

来源

文本分类模型演进：从词袋到Transformer的可视化解析

涉及实体

相关事实

待验证传统关键词匹配依赖词频统计（TF-IDF）或倒排索引，只能理解字面含义68% 相似待验证经过深度改写的内容、非英语文本、短文本的检测可靠性通常更低58% 相似待验证短文本（如推文）的信息熵低、特征空间有限，AI改写会从根本上改变词向量分布，使传统哈希匹配完全失效58% 相似待验证阿拉伯语变音符号还原的标签集大小通常在8-15个类别之间，远小于生成模型词表中数万的token数量57% 相似待验证通用大模型在多层嵌套从句、修辞性倒装等复杂阿拉伯语场景中准确率显著下降57% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/958805

API

curl https://kongchang.com/api/v1/knowledge/claims/958805

MCP

get_claim(id=958805)