MD5算法-爬虫学习（五）
摘要：
在实现爬虫的时候，我们使用Hash结构去存储我们用过的URL的时候，有些URL可能长度很长，为了更加节省空间，我们就要对URL进行压缩，帮它减减肥，这个我们介绍这个MD5算法，可以对URL进行有效的压缩。 下面我们会讲讲MD5算法的一些细节，不过我们大可不必在意，我们只需要知道，我们对一个很长很长的字符串进行MD5压缩，返回的是一个128位整数，这个字符串就是原字符串的唯一标示符，就好像是我们的身份证一样，通过这个id就可以标识唯一的你。 MD5算法描述：MD5以512位分组来处理输入的信息，且每一分组又被划分为16个32位子分组，经过一系列的处理后，算法的输出有4个32位分组组成，将... 阅读全文
posted @ 2014-01-03 00:04 进击的Ray_xujianguo 阅读(2443) 评论(6) 推荐(1) 编辑
