借助Nodejs在服务端使用jQuery采集17173游戏排行信息

Nodejs相关依赖模块介绍

Nodejs的优势这里就不做介绍啦，这年头相信大家对它也不陌生了。这里主要介绍一下用到的第三方模块。

• async：js代码中到处都是异步回调，很多时候我们需要做同步处理，使用async可以大大简化我们的同步处理的任务（没有它的时候，可能要用递归去处理异步问题了）。
• jsdom：一个 W3C DOM 的 JS 实现。用这玩意相当犀利，它不仅可以将文档解析成 DOM，而且，你还可以用 YUI 或着 jQuery 去操作生成的 DOM。这在从页面中提取数据时格外有用。这次采集17173的游戏排行数据就是用它结合jQuery去做的。
• colors：这个主要是便于我们从终端中输出不同颜色的信息用的，它的用法相当简单，console.log的时候直接在字符串后附加相关的颜色信息就可以了。

17173游戏排行页面分析

17173游戏排行页面：http://top.17173.com/index-0-0-0-0-0-0-0.html

我们要抓取它的排行，游戏名，热度值和测试状态信息，为了保存方便，直接将抓取的这些信息以CSV格式文件保存。

排行信息总共有63页，使用Chrome调试发现，请求不同页的数据时，发送的是HTTP POST请求，不同的页数通过page参数传递的，参数t可以忽略，主要是清浏览器缓存用的，如下图所示：

 使用Chrome查看html结构，我们要抓取的数据在ul.ph-bd-list li中，如下图所示：

在前端获取游戏排行列表的Html信息时，使用jQuery，$('.ph-bd-list li')可以非常方便的定位到列表信息，如果在服务端也能使用这种方式提取信息岂不爽哉，如下图所示：

Nodejs在服务端使用jQuery采集游戏排行信息

首先要解决的问题是，如何使用nodejs发送post请求，并从服务器返回的信息中得到html。

完成这件事并不难，查看一下nodejs，http模块相关的文档，文档中刚好有个示例，几乎可以直接拿来用，需要注意的是，nodejs接收服务端返回的数据时，是以数据块的形式接收的，我们需要将这些数据块，拼装成完整的数据，代码如下：

// 构造请求信息
var options = {
  hostname: 'top.17173.com',
  port: 80,
  path: '/index-0-0-0-0-0-0-0.html?page=' + index,
  method: 'POST'
};

var req = http.request(options, function(res) {
  var html = '';
  res.setEncoding('utf8');
  // 拼装数据
  res.on('data', function (chunk) { html += chunk; });
  res.on('end', function () {
    parseHtml(html, callback);  // 对html做解析处理
  });
});

req.on('error', function(e) {
  console.log(('请求列表页失败: ' + e.message).red);
});

// write data to request body
req.write('data\n');
req.write('data\n');
req.end();

接下来需要对html做处理，我们需要用jsdom将html解析为DOM，并跟jQuery结合，确保在服务端能够使用jQuery操作DOM，为了便于使用，我把这些操作做了简单的封装，核心代码如下：

var jsdom = require('jsdom').jsdom
  , fs = require('fs')
  , jquery = fs.readFileSync("./jquery.js", "utf-8");

/**
 * 使用jsdom将html跟jquery组装成dom
 * @param  {[type]}   html     需要处理的html
 * @param  {Function} callback 组装成功后将html页面的$对象返回
 * @return {[type]}            [description]
 */
function makeDom(html, callback) {
  jsdom.env({
    html: html,
    src: [jquery],
    done: function (errors, window) {
      var $ = window.$;
      callback(errors, $);
      window.close();   // 释放window相关资源，否则将会占用很高的内存
    }
  });
}

借助上面封装的代码，现在我们就可以非常方便的使用jQuery在服务端操作html了，尤其是使用jQuery提取信息，示例代码如下：

makeDom(html, function (errors, $) {
  // 游戏排行列表
  var gameList = $('.ph-bd-list li');
  // 获取每一个游戏信息
  gameList.each(function () {
    var li = $(this);
    // 游戏信息，各个信息间使用逗号拼接
    var gameInfo = '';
    // 游戏排名
    gameInfo += li.find('span.ttime').text() + ',';
    // 游戏名称
    gameInfo += li.find('span.game-name a').text() + ',';
    // 热度值
    gameInfo += li.find('span.type').text() + ',';
    // 测试状态信息
    gameInfo += $.trim(li.find('span.jhm').text());
    // 输出抓取的信息
    console.log(gameInfo.white);
    // 将游戏信息保存到文本文件
    fs.appendFileSync('17173_game_rank.csv', gameInfo + '\r\n');
  });
  console.log(('第' + index + '页抓取完毕').yellow);
  // 设置抓取下一页
  index++;
  // 执行回调，通知async本次抓取结束
  callback();
});

最终程序跑起来的效果

代码也来一份吧

代码加注释也就100多行，不多，也不复杂，希望能给用到的人带来点思路。

下载后，先使用npm install命令安装依赖模块，然后使用node app.js执行即可。

jsdom在windows上的安装貌似还有些麻烦，大家参考这篇文章自行解决一下吧：http://www.swordair.com/blog/2012/05/901/

代码在这