2018年6月22日

爬虫设置代理

摘要： 在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理） 下面来说一下Scrapy如何配置代理，进行抓取 1.在Scrapy工程下新建“middlewares.py” 2.在项目配置文件里(./pythontab/settings.py)添加 完 阅读全文

posted @ 2018-06-22 14:44 hairy_li 阅读(147) 评论(0) 推荐(0) 编辑

导航