jiuyang

摘要： 本文转自：http://blog.csdn.net/zzk1995/article/details/51628205 先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出 阅读全文