Node.js制作爬取简书内容的爬虫

用了Nodejs制作了简单的爬虫，爬取了简书的文章内容，代码中contentIds有几个，就爬取了几个网页的内容。

可以直接看结尾截图的结果。

 

下面两张截图，是说明怎么用cheerio获取自己想要的内容。

下面截图，是代码中：第46行，利用cheerio模块，获取版块标题内容

 

下面截图：代码第50行，利用cheerio获取作者

 

代码中：var contentIds = ["074e475b2f45","Jgq3Wc","8c92f845cd4d","V2CqjW"]，从下图来。引入要爬取多个网页，所以就得拼接url.然后利用Promise的回调特性，最后将内容都打印出来。

// nodejs官方文档：http://nodejs.cn/
// 引入http模块
var http = require('http')

// bluebird模块如果引用，必须下载 npm install bluebird
// nodejs本身有Promise,不引入也可以。
// 引入bluebird也是为了引入Promise，callback效率可能必nodejs本身的快。可能！！
// bluebird学习链接：http://ricostacruz.com/cheatsheets/bluebird.html
var Promise = require('bluebird')

// 引入cheerio,类似jquery库,必须下载，npm install cheerio
// cheerio文档：https://www.npmjs.com/package/cheerio
// 中文文档：https://cnodejs.org/topic/5203a71844e76d216a727d2e
// 用法跟jquery类似
var cheerio = require('cheerio')

// 路径模块
var path = require('path')

// 文件系统模块
var fs = require('fs')

// 简书的通用的url
var url = 'http://www.jianshu.com/c/'

// 简书每个页面url不同的部分
// 版块内容：
    // 074e475b2f45：成长励志
    // Jgq3Wc：上班这点事儿
    // 8c92f845cd4d：漫画·手绘
    // V2CqjW：@IT·互联网
var contentIds = ["074e475b2f45","Jgq3Wc","8c92f845cd4d","V2CqjW"]

// 过滤自己想要的数据，放到对象里面
function filterData(html) {
    var $ = cheerio.load(html)
    var lis = $('.have-img')
    // 每个版块的内容
    var board = {
        // 版块标题
        title:'',
        // 版块文章，里面是作者信息和文章标题，和链接
        articles:[]
    }
    // 获取版块标题
    board.title = $('div.title').children('a').text()
    lis.each(function (item,value) {
        var lis = $(this)
        // 获取作者
        var author = lis.find('.name').children('a').text()
        // 获取文章标题
        var title = lis.find('.content').children('a').text()
        // 获取文章链接
        var link = lis.find('.content').children('a').attr('href')
        board.articles.push({author:author, title:title, link:"http://www.jianshu.com"+link})

    })
    return board
}
// 打印内容到控制面板
function printData(board) {
    console.log(board.title + "\n")
    board.articles.forEach(function (value) {
        console.log("作者："+"\t"+value.author +"\t"+ "标题："+"\t"+value.title +"\t"+"链接："+"\t"+value.link )
    })
    console.log("\n")
}
// 将数据写入文件
function writeToFile(board) {
    // 拼接数据内容
    var html = '\n ' + '版块：' + board.title + '\n'
    board.articles.forEach(function (value) {
        html += "作者："+"\t"+value.author +"\t"+ "标题："+"\t"+value.title +"\t"+"链接："+"\t"+value.link +"\n"
    })
    // 将数据写入到文件，文件路径为当前路径，文件名是jianshu.txt
    fs.appendFileSync(path.join(__dirname,'jianshu.txt'),html)
}
// 获取简书内容
function getJianShuContent(url) {
    // 通过Promise获取简书内容，并且返回
    return new Promise(function (resolve,reject) {
        http.get(url,(res)=>{
            var html = ''
            res.on('data',(data)=>{
                // 获取到的数据拼接到HTML中
                html += data
            })
            res.on('end',function () {
                // 结束后将数据放到resolve
                resolve(html)
            })
        }).on('error',function (e) {
            reject(e)
            console.log('获取数据错误！！！！！！！！')
        })
    })
}
var jianShuContent = []

contentIds.forEach(function (id) {
    // 将获取到的放到数组中，利用Promise的特性
    jianShuContent.push(getJianShuContent(url + id))
})
// 迭代数组，然后遍历，打印内容，写入内容
Promise.all(jianShuContent).then(function (pages) {
    pages.forEach(function (value) {
        var board = filterData(value)
        printData(board)
        writeToFile(board)
    })
})

 

控制面板输出结果：

 

写入文件结果：