2017年4月10日
scrapy之防ban策略
摘要： 策略一:设置download_delay 设置下载的等待时间,减少被ban的几率 通过在setting.py文件中设置DOWNLOAD_DELAY参数，可以限制爬虫的访问频度。 DOWNLOAD_DELAY =0.25 # 250 ms of delay 通过启用RANDOMIZE_DOWNLOAD 阅读全文
posted @ 2017-04-10 15:08 Garvey 阅读(702) 评论(0) 推荐(0) 编辑