爬虫http header gzip

这个是常识！在request header里面加个gzip！可以大大的节约带宽。感谢来神在群聊天的时候说到这个。

详情参见 wiki

把昨天写的解析中关村在线的代码改了下

/*
    Date: 2013-04-08
    Author: FangYuhao
*/
var http = require('http');
var iconv = require('iconv-lite');
var cheerio = require('cheerio');
var zlib = require('zlib');
url = 'http://detail.zol.com.cn/332/331058/review.shtml'
function parseZOL(data)
{
    var $ = cheerio.load(data);
    //console.log($('.star_overview .nums').text());
    $('.comment_content').each(function(){
        console.log('good: '+$(this).children('dl').children('.good').next().text());
        console.log('bad: '+$(this).children('dl').children('.bad').next().text());
    });
}
var options ={
    host : 'detail.zol.com.cn' , 
    port : '80' ,
    path : '/332/331058/review.shtml' ,
    headers : {'Accept-Encoding' : ' gzip, deflate'}
};
http.get(options , function(res){
    var stack = '';
   // console.log(res.headers);
    var gunzip = zlib.createGunzip();
    res.pipe(gunzip);
    gunzip.setEncoding('binary');
    gunzip.on('data' , function(d){
        stack += d;
    }).on('error',function(err){
        console.log(err.message);
    });

    gunzip.on('end' , function(){
        var buf = new Buffer(stack ,'binary');
        var data = iconv.decode(buf , 'gbk');
        parseZOL(data);
    }).on('error',function(err){
        console.log(err.message);
    })
}).on('error', function(err){
    console.log(err.message);
});

做个对比，下面这个是没有压缩的

 

然后这个是压缩了的

效果明显！

越来越觉得node写爬虫真的太方便鸟！