2017年8月18日
一个大规模爬虫的抓取实例
摘要： http://www.michaelnielsen.org/ddi/how-to-crawl-a-quarter-billion-webpages-in-40-hours/ 一个大规模爬虫的抓取实例 本文是一篇大规模爬虫的文章的阅读笔记，记录了一个作者利用amazon集群在40个小时的时间里爬取2. 阅读全文
posted @ 2017-08-18 11:30 stackupdown 阅读(594) 评论(0) 推荐(0) 编辑