摘要：
1.介绍 爬虫采集了大量的文本数据，如何进行去重？可以使用文本计算MD5，然后与已经抓取下来的MD5集合进行比较，但这种做法有个问题，文本稍有不同MD5值都会大相径庭， 无法处理文本相似问题。另一种方式是本文要介绍的SimHash，这是谷歌提出的一种局部敏感哈希算法，在吴军老师的《数学之美》里也有介 阅读全文
摘要：
一.计算机编码 计算机编码有很多方式，比如我们非常熟悉的ASCII码，它将每个字符编码成同样长度的码值（一个字节），但是实际上每个字符，出现的频率是不一样的，比方说e出现的频率要大于很多字符的频率，如果能将这些常见字符的编码缩短，而不太常见的字符编码可以适当增长，那么显然有助于优化存储空间。 二.判 阅读全文