爬虫采集去重优化浅谈
以前在做漏洞Fuzz爬虫时,曾做过URL去重相关的工作,当时是参考了seay法师的文章以及网上零碎的一些资料,感觉做的很简单。近来又遇到相关问题,于是乎有了再次改进算法的念头。
首先,针对URL本身的去重,可以直接对整块URL进行处理。在参考网上的一些文章时,发现它们大多采用了 URL 压缩存储的方法。不过使用这些算法在数据量较大的时候,能大幅减小存储的空间:
基于磁盘的顺序存储。
基于Hash算法的存储。
基于MD5压缩映射的存储。
基于嵌入式Berkeley DB的存储。
基于布隆过滤器(Bloom Filter)的存储。
对于 URL 直接去重,主要涉及的是存储优化方面,对于本文不是重点,这里不再细说。
而对于 URL 逻辑上的去重,则需要更多地追求数据的可用性,这是做测试工作需要去考量的。
这里先给出 seay 文章中的相似度去重算法,大致是下面这样的:
def urlsimilar(url):
hash_size=199999
tmp=urlparse.urlparse(url)
scheme=tmp[0]
netloc=tmp[1]
path=tmp[2][1:]
query=tmp[4]
#First get tail
if len(path.split('/'))>1:
tail=path.split('/')[-1].split('.')[-1]
#print tail
elif len(path.split('/'))==1:
tail=path
else:
tail='1'
#Second get path_length
path_length=len(path.split('/'))-1
#Third get directy list except last
path_list=path.split('/')[:-1]+[tail]
#Fourth hash
path_value=0
for i in range(path_length+1):
if path_length-i==0:
path_value+=hash(path_list[path_length-i])%98765
else:
path_value+=len(path_list[path_length-i])*(10**(i+1))
#get host hash value
netloc_value=hash(hashlib.new("md5",netloc).hexdigest())%hash_size
url_value=hash(hashlib.new("md5",str(path_value+netloc_value)).hexdigest())%hash_size
return url_value
这段函数的大概作用是,最后它会根据算法返回一个hash值,这个hash值也就是该URL的hash相似度。如果两个URL计算出的hash值最后比较相等,我们则可以判断两个URL是具有较高的相似度的。
但是这个函数应该是seay举例时随手提出的(这里强调下,免得被喷,后文不再细说),只是简单做了demo,并没有进行细化检验。在比较粗糙的情况下,该算法确实能剔除一些简单的参数重复的情况,但一旦参数复杂或者url不规范,是不太能很好的进行去重的。
那么在针对URL获取的过程中,我们还可以做的小优化有哪些呢?
日期时间命名
首先,我们可以根据日期来去重。我们知道,在爬取一些Blog和和门户等系统时,经常会遇到以日期命名的目录。
这些目录大概归纳起来,存在类似下面的形式:
2010-11-11
10-11-11
20101111
当然,还有些文件会以时间+随机值命名,也可能是用unix时间戳命名,这些可能是根据上传和编辑时间来定义的。
笔者建议是,使用redis或者memcache之类等缓存型数据库,将其直接存储;或者在数据量较大的时候,考虑将其作临时存储,需要的时候再进行对比。
比如,一旦出现日期时间命名的目录或静态文件,我们可以考虑将其存储为下面的格式:
目录层级
命名格式
URL地址(或压缩过的hash值)
有人可能说,在前面seay提出的那个案例里,好像是可以解决类似日期相似度的问题。那我们先看看下面的例子,此处输出仍然基于上面那个函数:
print urlsimilar('http://www.baidu.com/blog/2010-10-11/')
print urlsimilar('http://www.baidu.com/blog/2010-10-13/')
print urlsimilar('http://www.baidu.com/blog/2010-9-13/')
print urlsimilar('http://www.baidu.com/whisper/2010-10-11/')
输出结果如下:
110086
110086
37294
4842
我们可以看到,在普通情况下,确实于相同父级目录下,相似度算法是可以判断正确的。 但是一旦日期格式不规范,或者父级目录存在一定的差异,这里是不能很好的判断的。
当然,我们也可以通过机器学习来完成去重的工作。不过就简化工作而言,还是可以使用一些小Tips,根据规则匹配来做到。
静态文件的去重
我们知道,在爬取URL的过程中,也会遇到许多静态文件,如shtml、html、css等等。这些文件在大多数的情况下,是没有太大意义的。除非测试者倾向于使用“宁可错杀一百,绝不放过一个”的全量采集手法。
这时候,我们可以配置黑名单,建立文件后缀规则库进行过滤。
当然,在这些静态后缀的URL链接,也可能带上参数混淆的情况。 个人建议是,用于回调的json、xml等URL,里面可能储存敏感内容,尽量别动;其他类型的静态文件,仍然采取将参数分离的方式,最后对URL进行去重存储。
特定情况的过滤
在爬取特定网站时,我们可以预先做好配置,指定过滤一些目录和页面,以节省大量时间资源。
反过来,我们也可以指定只爬取指定目录下的页面,定向获取我们想要的内容。
敏感页面的感知
在前面seay提出的demo算法中,在这种情况下是有一定局限的。比如我们需要在敏感目录下,尽可能多的拿到文件信息。比如我们爬取到了后台管理目录,可能会遇到下面的情况:
print urlsimilar('http://www.baidu.com/blog/admin/login.php')
print urlsimilar('http://www.baidu.com/blog/admin/manage_index.php')
print urlsimilar('http://www.baidu.com/blog/admin/test.css')
输出结果如下:
40768
40768
40768
很明显有问题不是么?
当然,我们可以通过对敏感页面关键词进行监控;或者也可以指定后缀文件,进行白名单监控。
但是一旦这样做,而且还想采用前面的hash算法的话,大家自行定义的过滤函数的优先级,肯定需要大于该算法。并且,我们在这样做的过程中,也应该考虑过滤成本的问题,建议采用选择性启用。
高频敏感目录的优待
可能在爬取的过程中,部分爬虫是兼用了目录爆破的手段的。如果采用了这种手法并且匹配成功后,我们可以将该目录下的内容单独使用一份过滤规则,从而避免去重算法的误判。
响应页面的过滤
对于某些网站来讲,可能有不少页面因为链接是失效的,会被冠以404页面和50x错误。另外,在无权访问的时候,可能网站会做30x跳转和403目录限制。
这些页面没有实质性内容,在大多数时候是没有意义的,我们可以在配置文件里对需要爬取的这类页面做白名单,比如保留403页面,或者存取30x跳转前(后)的页面。
WAF(警告)页面过滤
某些网站可能被装上了WAF,在访问频率过快时,可能会得到一个WAF的警告页面。而在CMS本身就做了限制的情况下,会以20x的响应码展示一些没有不存在的页面。
当然,我们可以通过分布式换代理的方式,去解决部分这样的问题,这里先不多做讨论。
这时候,我们可以配置相应的次数阈值,如果某些页面出现的次数过多,可以将其标记为警告(WAF)页面,进而做出过滤处理。这里对某页面的识别,可以通过黑名单关键字标记;或者尝试计算页面hash值,比如下面这样:
content = urllib2.urlopen('http://www.test.com/').read()
md5_sum = hashlib.md5()
md5_sum.update(content)
print md5_sum.hexdigest()
当然,我们在实际计算页面hash值和做关键字监控时,也可能由于反爬虫机制的存在(如添加随机值),需要适时调整相似度来计算hash值或者采用其他手段。当然这也会消耗更多的时间和机器资源。但某些特定的情况下,可能也会带来意想不到的收获。
无意义参数页面去重
我们在采集页面的过程中,同样有可能会遇到一些毫无意义的、高频出现的多参数页面。这类页面可能是回调页面,也可能是临时渲染的随机页面。
在这里,大家可以通过前面处理WAF(警告)的方法进行过滤。当然,使用前面的hash算法也是可以应对大部分情况的。毕竟网站的这类的URL有限,不必为了几种特型去消耗更多的资源,这样得不偿失。
JS代码中的URL
在我们提取js代码,也就是遇到ajax之类的交互情况时,可能会遇到需要拼接的GET请求,或者直接可以取用的POST请求。
这类的URL地址,最好是结合phantomjs等webkit,更方便地进行动态拼接。
它们会显得比较特殊,可能仅仅返回状态码,也可能会返回实质性的敏感内容。这种情况,就需要根据爬取者的要求,对爬取的过滤规则进行适应性调整。
总结
笔者这里旨在提出一些对相似URL去重的小优化,可能效果有限,也可能存在未尽人意之处。
欢迎大家提出建议,希望少一些爱喷的童鞋,多一点讨论的大牛,与诸君共勉。
参考文章
如何避免重复抓取同一个网页 https://segmentfault.com/q/1010000002664904
浅谈动态爬虫与去重 http://bobao.360.cn/learning/detail/3391.html
网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用 http://blog.csdn.net/lemon_tree12138/article/details/47973715
实用科普:爬虫技术浅析 编写爬虫应注意的点 http://www.cnseay.com/?p=4102
网络爬虫 (spider) URL消重设计 URL去重设计 http://woshizn.iteye.com/blog/532605