使用 superagent 和 cheerio 爬取、解析网页(nodejs)

安装依赖:

npm install superagent cheerio --save

同步代码:

const superagent = require('superagent')
const cheerio = require('cheerio')
const fs = require('fs')

function getNews() {
  return new Promise((resolve, reject) => {
    superagent.get('https://a.b.c.cn/').end((err, data) => {
      if (err) {
        reject('error')
      } else {
        const $ = cheerio.load(data.text)
        var lst = []
        $('#blk_cjkjqcfc_011  a').each((index, item) => {
          var tex = $(item).text()
          if (tex && !tex.endsWith('|')) {
            lst.push(tex.replaceAll('\n', ''))
          }
        })
        resolve(lst)
      }
    })
  })
}

async function main() {
  var res = await getNews()
  console.log(res)
}

main()
posted @   EGU0  阅读(86)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
点击右上角即可分享
微信分享提示