node.js 简单的爬虫代码

这里需要引入 request 包 ，在终端输入命令

npm命令: npm i request

yarn命令: yarn add request

let req = require('request')

// 爬取的网页地址 我这里爬的是一个蛋糕官网页面
let htUrl = "https://www.21cake.com/"

// 封装函数进行获取爬取页面的内容
function getReq(url){
    // 创建了一个promise的对象 他会以两个函数作为参数分别是reject和resolve，如果成功就是reslove，返回失败就reject报错
    return new Promise(function (resolve, reject){
        req.get(url,function (err,res,body){
            if (err){
                reject(err)
            } else {
                resolve({res,body})
            }
        })
    })
}

// 获取起始页的所有分类地址
// async 和 await 两个可以让代码实行异步操作
async function getClass() {
    // 这里将网址带出这个异步函数中
    let {response,body} = await getReq(htUrl)
    console.log(body)
}

// 函数调用
getClass()

运行 js 即可