待验证50% 置信事实精确时间

TF-IDF通过词频（TF）和逆文档频率（IDF）两个维度衡量词语重要性，停用词因在所有文档普遍出现IDF值趋近于零而被认为可安全删除

1

来源数

50%

置信度

长期有效

时效性

2026/9/18

首次发现

来源

别再删停用词了：一个继承的预处理默认如何扭曲法律文本数据分析

涉及实体

相关事实

待验证BM25核心机制基于词频（TF）、逆文档频率（IDF）和文档长度归一化三个因子，对精确词项匹配敏感但完全不理解语义65% 相似待验证BM25和TF-IDF是词法检索的经典代表，基于关键词的字面匹配与词频统计63% 相似待验证强制对齐技术在已知文本约束下进行匹配，不需要从零猜测说话者内容，降低识别不确定性55% 相似待验证文本切分策略直接决定检索质量上限：块太大会稀释嵌入向量降低精度，块太小则可能丢失完整语义单元55% 相似待验证IDF的标准形式log(N/df)本质上度量的是一个词携带的信息量或惊奇度，与信息论中的自信息概念I(x)=-log(P(x))有深刻关联55% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/931165

API

curl https://kongchang.com/api/v1/knowledge/claims/931165

MCP

get_claim(id=931165)