11 2016 档案

简单高效的nodejs爬虫模型
摘要：这篇文章讲解一下 "yunshare" 项目的爬虫模型。 使用nodejs开发爬虫很简单，不需要类似python的scrapy这样的爬虫框架，只需要用request或者superagent这样的http库就能完成大部分的爬虫工作了。 使用nodejs开发爬虫半年左右了，爬虫可以很简单，也可以很复杂。 阅读全文
posted @ 2016-11-28 10:21 蓝猫163 阅读(1280) 评论(1) 推荐(2) 编辑
实用的开源百度云分享爬虫项目yunshare - 安装篇
摘要：今天开源了一个百度云网盘爬虫项目，地址是 "https://github.com/callmelanmao/yunshare" 。 百度云分享爬虫项目 github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以 阅读全文
posted @ 2016-11-20 09:26 蓝猫163 阅读(1358) 评论(1) 推荐(1) 编辑

点击右上角即可分享
微信分享提示