4-2 setting中一定要将ROBOTSTXT_OBEY = False的注释去掉 

# Obey robots.txt rules##默认遵循robots协议的，默认去读取每个网站上的robots协议
ROBOTSTXT_OBEY = False
posted @ 2018-12-23 11:31  莱茵河的雨季  阅读(990)  评论(0)  编辑  收藏  举报