scrapy 一些坑

scrapy爬虫出现Forbidden by robots.txt

# Obey robots.txt rules
ROBOTSTXT_OBEY = False


scrapy定时执行抓取任务

用crontab -e

posted on 2019-05-20 14:28  katago  阅读(204)  评论(0)  编辑  收藏  举报