之前settings.py 中下图是注释掉的,:
DOWNLOAD_DELAY = 3
现在把它放开,赋值3(意思是3秒)
现在700多个话题的豆瓣小组,可以顺利爬下
比较懒,感觉代理池会不会很复杂呀,什么的。
不过,设置了爬取的时间间隔,确实慢了很多。
代理池还是要用起来