基于NodeJs的网页爬虫的构建（二）

好久没写博客了，这段时间已经忙成狗，半年时间就这么没了，必须得做一下总结否则白忙。接下去可能会有一系列的总结，都是关于定向爬虫（干了好几个月后才知道这个名词）的构建方法，实现平台是Node.JS。

背景

一般爬虫的逻辑是这样的，给定一个初始链接，把该链接的网页下载保存，接着分析页面中的链接，找到目标链接检查是否已经请求过，如果未请求则放入请求队列，页面下载完成后交给索引器建立索引，如此往复即可建立一套提供给搜索引擎使用的文档库。我当时的需求并不是这样，而是抓取某几个网站的数据并把规定的字段输出为结构化的文件最终会放到EXCEL中分析。后者也许只需要该网站全量的商品数据，其它一概不需要，这样见面不需要保存。

 

我将顺着时间顺序记录问题和想法。

1. 编码
2. 重定向
3. 并发

问题

除了上篇遇到的编码问题，重定向问题在NodeJS中也比较麻烦，原因是它并不像在Python中的库一样支持自动重定向，需要开发者自己处理。在HTTP协议头中重定向的状态码：301, 302, 303, 307^[1]。

10.3.2 301 Moved Permanently

The new permanent URI SHOULD be given by the Location field in the response.

一旦发现需要重定向，我们必须读取HTTP response头中的Location属性，并对该URI发出request，需要注意的问题是该属性并不总是完整URI资源，也会遇到类似“/users.php”只包含PATH的值。

这样在代码中进行相应处理就没问题了，后来接触到了Mikeal Rogers的request库，一切都变得简单很多，它默认自动处理重定向，还支持手动关闭。Cheers！

 

[1]. http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html