Node.js之网络小爬虫

使用JavaScript在前端访问跨域页面常常用到Ajax，后端Node.js抓取网页信息就容易得多。

 

下面是一个最简单的例子，抓取我的博客主页信息，显示首页博客标题。

var http = require('http')
var cheerio = require('cheerio')

var url = 'http://www.cnblogs.com/feitan/'

function filterHtml(html) {    //使用cheerio处理DOM
    var $ = cheerio.load(html)

    var data = []
    var titles = $('.postTitle a')
    titles.each(function(){
        data.push($(this).text())
    })

    return data
}

function outputInfo(data){    //数据进一步传递，这里直接输出
    data.forEach(function(title){
        console.log('\n'+ title)
    })
    
}

http.get(url,function(res){  //http模块get方法访问url资源
    var html = ''
    res.on('data',function(data){  
        html+=data
    })

    res.on('end',function(){
        var data = filterHtml(html)
        outputInfo(data)
    })
}).on('error',function(){
    console.log('获取数据出错')
})

 

21行指定一个url资源发起get请求，回调函数处理响应对象response，response返回的是HTML文档。

对DOM处理使用了cheerio包，它类似jQuery对JavaScriptDOM操作的封装，使用方式也类似。

 

结果：