2017年3月8日
高效爬虫实战经典案例
摘要： 最近，我接到一个任务，具体来说就是： 使用百度来搜索30万关键词，把搜索结果中出现的网站链接全部储存下来。 我们来计算一下，30万关键词，每个关键词百度会给出75个页面，就是2250万个网页的爬虫量。考虑到延时等在内，每秒平均处理一个页面，就需要22500000/(24*3600) = 260天时间 阅读全文
posted @ 2017-03-08 18:01 浪里白条_双河 阅读(479) 评论(0) 推荐(0) 编辑