在抓网页的时候,如果抓取频率很高,很容易出现这个错误:
意思是服务器拒绝响应。解决的方法为,隔段时间再试,不过这个方法不靠谱。靠谱的方法是增加一个延迟函数
import time
time.sleep(0.5) #延迟0.5秒
在你每次打开网页前加上一个延迟函数就好了