2016年8月6日
webmagic 增量爬取
摘要： webmagic 是一个很好并且很简单的爬虫框架，其教程网址：http://my.oschina.net/flashsword/blog/180623 webmagic参考了scrapy的模块划分，分为Spider(整个爬虫的调度框架)、Downloader(页面下载)、PageProcessor( 阅读全文
posted @ 2016-08-06 17:33 钟政123 阅读(7707) 评论(7) 推荐(1) 编辑