会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Donal's Blog
IT人生,记录点点滴滴
http://dzang.posterous.com/
博客园
首页
新随笔
联系
管理
订阅
2017年2月9日
转:如何构建爬虫代理服务?
摘要: 起因 做过爬虫的人应该都知道,抓的网站和数据多了,如果爬虫抓取速度过快,免不了触发网站的防爬机制,几乎用的同一招就是封IP。解决方案有2个: 1、同一IP,放慢速度(爬取速度慢) 2、使用代理IP访问(推荐) 1、同一IP,放慢速度(爬取速度慢) 2、使用代理IP访问(推荐) 第一种方案牺牲的就是时
阅读全文
posted @ 2017-02-09 10:36 Donal
阅读(871)
评论(0)
推荐(0)
编辑
公告