2017年4月4日
python爬虫实战（三）--------搜狗微信文章（IP代理池和用户代理池设定----scrapy）
摘要： 在学习scrapy爬虫框架中，肯定会涉及到IP代理池和User-Agent池的设定，规避网站的反爬。 这两天在看一个关于搜狗微信文章爬取的视频，里面有讲到ip代理池和用户代理池，在此结合自身的所了解的知识，做一下总结笔记，方便以后借鉴。 笔记 一.反爬虫机制处理思路： 二.散点知识： 实战操作 相关 阅读全文
posted @ 2017-04-04 19:45 今孝 阅读(13061) 评论(4) 推荐(1) 编辑
//制作目录