概念n-gram shingle
shingle
文本处理中将连续k个token组成的片段称为shingle，用于计算文本相似度。
时间轴 (近 90 天)
10月19日
通过计算归一化token shingle的平均成对相似度，并单独检测分歧主张型token（数字、大小、持续时间、URL），可以为文档段落分配裁决。
待验证50%
文本处理中将连续k个token组成的片段称为shingle，用于计算文本相似度。
通过计算归一化token shingle的平均成对相似度，并单独检测分歧主张型token（数字、大小、持续时间、URL），可以为文档段落分配裁决。