2016年8月1日
海量文件查重SimHash和Minhash
摘要： SimHash 事实上，传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。例如，试想像Google那种收录了数以几十亿互联网信息的大型搜索引擎， 阅读全文
posted @ 2016-08-01 22:51 StrongYaYa 阅读(9507) 评论(0) 推荐(1) 编辑