2018年8月12日
Python scrapy 常见问题及解决 【遇到的坑】
摘要： 1. 爬虫出现Forbidden by robots.txt 解决方法：setting.py ROBOTSTXT_OBEY = True 改成False 原因：scrapy抓包时的输出就能发现，在请求我们设定的url之前，它会先向服务器根目录请求一个txt文件 这个文件中规定了本站点允许的爬虫机器爬 阅读全文
posted @ 2018-08-12 11:57 littlebob 阅读(2666) 评论(0) 推荐(0) 编辑