node的简单爬虫

最近在学node，这里简单记录一下。

首先是在linux的环境下，关于node的安装教程：   https://github.com/alsotang/node-lessons/tree/master/lesson0

我看的教程里面还用来express框架 键入 $ npm install express --registry=https://registry.npm.taobao.org 来安装

这样基本的环境就弄好了，装好以后来创建项目，过程如下：

1.随便建一个文件夹，比如说是lesson3

2.初始化（键入 $ npm init ），这里要让你设置 packag.json 文件，这个文件是用来记录项目的信息的，项目名，作者什么的，如果你没什么好写的就一路回车

3.安装依赖包，（键入 $ npm install  ---save packagename），没有指定的情况下，默认从 npm 官方安装，上次我们是从淘宝的源安装的。二是多了个 --save 参数，这个参数的作用，就是会在你安装依赖的同时，自动把这些依赖写入 package.json

爬虫需要 superagent 和 cheerio

superagent(http://visionmedia.github.io/superagent/ ) 是个 http 方面的库，可以发起 get 或 post 请求

cheerio可以理解为node端的jquery，爬虫的爬下来网页以后用类似jquery选择器的方式就能对dom树进行操作

4.写应用逻辑

逻辑也是三步：

4.1加载依赖

4.2处理爬虫

4.3监听端口

以cnode为例，https://cnodejs.org/ 可以先到页面上右键然后审查元素看看自己想要扒什么

新建一个app.js文件，然后上代码：

//请求依赖
var express = require('express') ;
var superagent = require('superagent') ;
var cheerio = require('cheerio') ;
var sys = require('sys') ;
var app = express() ;
//爬虫部分
app.get('/',function(req,res,next){
    superagent.get('https://cnodejs.org/')
        .end(function(err,sres){
            if(err){
                return next(err) ;
            }
            var $ = cheerio.load(sres.text) ;
            var items = [] ;
            //利用cheerio来获取页面信息，each函数来遍历所有节点
            var context = $('#topic_list .cell') ;
            context.each(function(idx,element){
                console.error(this) ;
                //作者名是从链接里扒出来的，所以用split处理一下
                var name = $(this).find('.user_avatar').attr('href').split('/')[2] ;
                var element = $(this).find('.topic_title') ;
                obj = this ;
                items.push({
                    title:element.attr('title'),
                    href:element.attr('href'),
                    author:name
                });
            });
            //将结果输出到页面
            res.send(items) ;
        });
});
//监听部分，监听3000端口
app.listen(3000,function(req,res){
    console.log('3000 is running');
});

这里注意就是和jq一样，在一个对象的方法中调用对象要再用$()把this包起来才有相应的方法。

键入命令 $ node app.js来运行，从浏览器上访问 http://localhost:3000/ 来查看结果

结果如图：

 

学习是按照《Node.js 包教不包会》 -- by alsotang 来进行的，这里是网址 https://github.com/alsotang/node-lessons