一、url去重
url存到数据库
所有url放到set中(一亿条占用9G内存)
md5之后放到set中(一亿条占用2,3G的内存)scrapy采用的就是类似方法
bitmap方法(url经过hash后映射到bit的每一个位上,存在冲突,一亿url占用约12M)
bloomfilter(bitmap改进,多重hash解决冲突,一亿url占用)
二、文章相似度
1.有关重复的定义,如果完全一样,基本上你hash一下特征值就好
2. 如果不要完全一样,那就是概率学上的可能(80%他们可能是一样)。基础算法KMP算法,
LCS算法(这个有基本算法底子滴同学可以搞定)
3.真正的基于概率统计分类算法:贝叶斯算法等(这个你还是请专业的数计系滴硕士搞把,没两
把刷子滴人公式都看不懂滴)
小雪
博客地址:https://home.cnblogs.com/u/snow-l/