[控场AI]
概念最小哈希

MinHash

一种基于随机哈希的局部敏感哈希算法,用于快速估算集合间的Jaccard相似度,广泛应用于推荐系统、去重和聚类等场景。

时间轴 (近 90 天)

10月14日

CMinHash是一种通过循环排列(Circulant Permutation)设计的MinHash算法,能在降低方差的同时减少存储空间。

待验证50%
10月14日

MinHash的理论基础是:若对集合元素施加一个随机排列,则两集合各自最小哈希值相等的概率恰好等于它们的Jaccard相似度。

待验证50%
10月14日

Minner估计器是MinHash家族中一种通过组合多个最小哈希值来进一步降低方差的改进方案,相比标准MinHash在相同哈希预算下通常具有更低的方差。

待验证50%
10月14日

循环排列的引入使得MinHash在存储受限的场景(如嵌入式设备、大规模分布式系统)中更具吸引力。

待验证50%
10月12日

在文档摄入中,每个文档生成MD5哈希作为document_id,内容哈希用于精确去重,生产环境建议加入MinHash做近似去重,失败文档进入死信队列支持断点续传。

待验证50%
9月11日

数据去重(使用MinHash、SimHash等局部敏感哈希算法)后模型收敛速度可提升10-20%

待验证50%

全部知识事实 (6)

来源文章