摘要: 在nodejs的开发中,有时需要后台去调用其他服务器的接口,这个时候,就需要发送HTTP请求了。有一个简单的工具可以用,Simplified HTTP request client,可以比较方便的模拟请求。 安装 npm install --save request 使用 最简单的GET请求,用法如 阅读全文
posted @ 2021-07-26 17:42 mingruqi 阅读(1893) 评论(0) 推荐(0) 编辑
摘要: 爬取滚动加载页面数据nodejs+puppeteer之前有写一篇爬取普通网站的数据nodejs爬虫 爬取爱奇艺 node + cheerio 爬取滚动加载页面地址 https://blog.csdn.net/qq_43017024/article/details/118786153 但是遇到有反爬策 阅读全文
posted @ 2021-07-26 17:40 mingruqi 阅读(596) 评论(0) 推荐(0) 编辑
摘要: nightmare是PhantomJS的高级封装,让你能够实现浏览器自动化任务。PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 S 阅读全文
posted @ 2021-07-26 17:39 mingruqi 阅读(397) 评论(0) 推荐(0) 编辑
摘要: 抓取网站截图 很多网页特别长,直接的电脑截图非常麻烦,用ps等工具也非常麻烦,所以很多人都问我有木有自动抓出截图的软件 Node.js里是有的 推荐pageres 首先全局安装 $ PHANTOMJS_CDNURL=https://npm.taobao.org/dist/phantomjs npm 阅读全文
posted @ 2021-07-26 17:38 mingruqi 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 做 IM 屏幕截图是少不了的,之前 windows 版本是调用的 qq 输入法的截图功能,这个版本又再次尝试自己实现发现是可以的,getusermedia 的权限很高,代码如下 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN 阅读全文
posted @ 2021-07-26 17:36 mingruqi 阅读(116) 评论(0) 推荐(0) 编辑
摘要: node-webkit简称nwjs:开源地址 https://github.com/nwjs/nw.js 参考博客 https://www.cnblogs.com/soaringEveryday/p/4950088.html 用node-webkit(NW.js)创建桌面程序 以往写windows桌 阅读全文
posted @ 2021-07-26 17:36 mingruqi 阅读(491) 评论(0) 推荐(0) 编辑
摘要: 最近在研究爬虫,所以用自己熟悉的node简单写了一个。 开始用的是phantomjs来获取HTML,但是看了文档之后发现很久没有维护了,所以就放弃了。 后来寻寻觅觅发现了 Puppeteer,看了下是Google开发的,所以果断上手试了试,感觉比phantom不知道高到哪里去了。 B话少说,直接贴项 阅读全文
posted @ 2021-07-26 17:35 mingruqi 阅读(1646) 评论(0) 推荐(0) 编辑
摘要: 目标: 解决页面加载更多问题。笔记三中,我们只爬取到网页的部分信息,而点击加载更多后的页面内容是没有提取到的。开始我的想法是找到加载更多的数据接口(可参照:http://www.jianshu.com/p/3fdb6ab47aef),但是我又发现一个问题,当我打开一个订阅号页面时,找到数据接口如下图 阅读全文
posted @ 2021-07-26 17:35 mingruqi 阅读(331) 评论(0) 推荐(0) 编辑