摘要: 最近在学习scrapy爬虫框架,刚开始爬取简单网页的图片(妹子图)保存到本地,之后这已经满足不了我了,后来开始爬取大型网站,也会用selenium模拟浏览器操作,以及获取ajax网页数据,在爬取过程中,我发现偶尔会出现一些302错误以及操作频繁的反爬虫策略。所以该文就是来爬取大量免费IP来伪装,从而 阅读全文
posted @ 2017-08-27 17:01 chipsKe 阅读(1086) 评论(0) 推荐(0) 编辑