nodejs爬取微博热搜
koa基础初步使用
Koa由Express 幕后的原班人马打造, 致力于成为 web 应用和 API 开发领域中的一个更小、更富有表现力、更健壮的基石。
没有捆绑任何中间件, 而是提供了一套优雅的方法去编写服务端应用程序
安装、启动服务
npm init
npm install koa
const koa = require('koa')
const app = new koa()
// 启动服务 端口为3000
app.listen(3000)
// 使用node app命令启动服务
这样每次修改文件都需要重新启动服务,可以使用nodemon监听文件变化自动重启
npm install nodemon -g 然后启动服务时,使用nodemon app.js
响应返回
const koa = require('koa')
const app = new koa()
app.use(async ctx => {
ctx.body = 'Hello World';
})
// 启动服务 端口为3000
// 浏览器访问locahost:3000 返回hello world
app.listen(3000)
使用koa-router插件管理路由
为koa设计的路由中间件,路由由url生成
const koa = require('koa')
const app = new koa()
// 引入路由、实例化
const router = require('koa-router')()
router.get('/api/testapi', async ctx => {
// const data = await fetchData()
const data = '这是从testapi返回出去的数据'
ctx.body = data
})
app.use(router.routes())
app.use(router.allowedMethods())
// 浏览器访问locahost:3000/api/testapi
app.listen(3000)
爬取数据
安装插件、首次完整抓取
# 安装所需插件
npm install superagent cheerio superagent-charset
const koa = require('koa')
const app = new koa()
const router = require('koa-router')()
// 引入插件
const charset = require('superagent-charset')
const superagent = require('superagent')
charset(superagent)
const cheerio = require('cheerio')
superagent.get('https://s.weibo.com/top/summary?cate=realtimehot')
.charset()
.end((err, sres) => {
const html = sres.text
console.log(html)
})
router.get('/api/testapi', async ctx => {
const data = '这是从testapi返回出去的数据'
ctx.body = data
})
app.use(router.routes())
app.use(router.allowedMethods())
app.listen(3000)
此时启动服务,就会去访问微博热搜页面,命令行中打印页面源码说明爬取成功
分析节点源码,处理数据
const $ = cheerio.load(html)
let hotList = []
$("#pl_top_realtimehot table tbody tr").each(function(index) {
if (index !== 0) {
const $td = $(this).children().eq(1);
const link = 'https://s.weibo.com' + decodeURI($td.find("a").attr("href"));
const text = $td.find("a").text();
const hotValue = $td.find("span").text();
const icon = $td.find("img").attr("src")
? "https:" + $td.find("img").attr("src")
: "";
hotList.push({
sort: index,
link,
text,
hotValue,
icon,
})
}
})
前端请求数据、查看接口返回
本地环境中,koa服务需要设置cors以允许跨域访问
使用koa-router管理请求
npm install koa2-cors koa-router --save
const Koa = require('koa')
const app = new Koa()
const router = require('koa-router')();
// 设置允许跨域访问服务
const cors = require('koa2-cors')
app.use(cors())
- app.use(async ctx => {
- const data = await getSinaData()
- ctx.body = data
- })
+ router.get('/api/getSinaHotSearchList', async ctx => {
+ const data = await getSinaData()
+ ctx.body = data
+ })
app.listen(3000, () => {
console.log(`success and it is listening at port 3000`)
})
页面接口请求、查看返回数据
fetch.get('http://localhost:3000/api/getSinaHotSearchList')
.then(response => response.json())
.then(res => {
console.log(res)
})