2016年11月9日
scrapy爬虫之防止被Ban
摘要： 防止被网站反爬虫有很多方法，换IP，使用user-agent池等，此处先介绍一个简答的方法使用user-agent 第一步：在settings中，将ROBOTSTXT_OBEY 的值改为false，默认值是true， 既遵守爬虫规则，此处我们不遵守这个规则，要不然很多东西没办法爬取 第二步：在浏览器 阅读全文
posted @ 2016-11-09 10:36 进击的大乐 阅读(844) 评论(0) 推荐(0) 编辑