爬豆瓣被封的解决方案

之前settings.py 中下图是注释掉的,:  

DOWNLOAD_DELAY = 3

现在把它放开,赋值3(意思是3秒)

现在700多个话题的豆瓣小组,可以顺利爬下

 

比较懒,感觉代理池会不会很复杂呀,什么的。

不过,设置了爬取的时间间隔,确实慢了很多。

代理池还是要用起来

 

 

posted @ 2017-07-12 16:32  vivi~  阅读(1315)  评论(0编辑  收藏  举报