TF-IDF
信息检索与文本挖掘中的经典特征权重算法，通过词频（TF）与逆文档频率（IDF）的乘积衡量词语对文档的重要性，高频但在语料库中稀缺的词语获得高权重
核心事实
时间轴 (近 90 天)
传统的 TF-IDF + 逻辑回归方案不依赖预训练，将文本转为词频统计向量后训练线性分类器，速度快、资源占用低，但语义理解能力不如 BERT
对于文本较短且类别边界清晰的任务（如垃圾邮件过滤），TF-IDF 方案往往已经够用；语义细粒度要求高时 BERT 微调收益更显著
经典机器学习方法（如逻辑回归、SVM、朴素贝叶斯）配合TF-IDF或固定词向量等预计算文本特征，参数量极小，CPU推理延迟可低至毫秒级
在数据量有限或推理延迟极为苛刻的场景下，TF-IDF加逻辑回归的组合仍是工程师的首选方案
TF-IDF中IDF衡量词在整个语料库中的稀有程度，出现在越多文档中的词IDF值越低
一篇arXiv论文使用TF-IDF加线性分类器管线对ISOT/Kaggle语料库进行数据泄漏和分布偏移的系统审计
词向量化（如TF-IDF或词袋模型）将清洗后的文本转换为数值矩阵，是聚类、主题模型和情感分类等后续机器学习分析的共同前提
TF-IDF通过词频（TF）和逆文档频率（IDF）两个维度衡量词语重要性，停用词因在所有文档普遍出现IDF值趋近于零而被认为可安全删除
BM25是TF-IDF的概率改进版，综合考虑词频、逆文档频率和文档长度归一化，但无法捕捉语义相似性
IDF的标准形式log(N/df)本质上度量的是一个词携带的信息量或惊奇度，与信息论中的自信息概念I(x)=-log(P(x))有深刻关联
还有 5 条时间轴事件
全部知识事实 (16)
BM25和TF-IDF是词法检索的经典代表，基于关键词的字面匹配与词频统计
75%已验证BM25是一种基于词频统计（TF-IDF改进版）的经典信息检索算法，属于稀疏检索方法
75%待验证Traditional search systems mostly rely on statistical algorithms like TF-IDF or BM25 that rank results by term frequency and uniqueness in documents
90%待验证对于文本较短且类别边界清晰的任务（如垃圾邮件过滤），TF-IDF 方案往往已经够用；语义细粒度要求高时 BERT 微调收益更显著
50%待验证传统的 TF-IDF + 逻辑回归方案不依赖预训练，将文本转为词频统计向量后训练线性分类器，速度快、资源占用低，但语义理解能力不如 BERT
50%待验证经典机器学习方法（如逻辑回归、SVM、朴素贝叶斯）配合TF-IDF或固定词向量等预计算文本特征，参数量极小，CPU推理延迟可低至毫秒级
50%待验证在数据量有限或推理延迟极为苛刻的场景下，TF-IDF加逻辑回归的组合仍是工程师的首选方案
50%待验证TF-IDF中IDF衡量词在整个语料库中的稀有程度，出现在越多文档中的词IDF值越低
50%待验证词向量化（如TF-IDF或词袋模型）将清洗后的文本转换为数值矩阵，是聚类、主题模型和情感分类等后续机器学习分析的共同前提
50%待验证TF-IDF通过词频（TF）和逆文档频率（IDF）两个维度衡量词语重要性，停用词因在所有文档普遍出现IDF值趋近于零而被认为可安全删除
50%待验证BM25是TF-IDF的概率改进版，综合考虑词频、逆文档频率和文档长度归一化，但无法捕捉语义相似性
50%待验证IDF的标准形式log(N/df)本质上度量的是一个词携带的信息量或惊奇度，与信息论中的自信息概念I(x)=-log(P(x))有深刻关联
50%待验证在不依赖向量数据库的前提下，Agent记忆可以通过TF-IDF/BM25关键词检索、结构化存储配合倒排索引、直接利用LLM上下文窗口或知识图谱等替代策略实现
50%待验证TF-IDF（词频-逆文档频率）通过衡量一个词在特定文档中的重要程度来提取关键信息
50%待验证Elasticsearch基于倒排索引实现高速文本检索，其核心逻辑是词频统计和TF-IDF权重计算，无法理解语义关系或建立跨文档关联
50%待验证一篇arXiv论文使用TF-IDF加线性分类器管线对ISOT/Kaggle语料库进行数据泄漏和分布偏移的系统审计
50%