Max retries exceeded with ur

requests模块在抓取网页时抛出ConnectionError异常，Max retries exceeded with url

主要搜下 "Caused by <class 'socket.error'>: [Errno 10054]"  这条语句。

查看下  这篇文章 和  这篇文章 。

有以下几个方向可以思考：

• 是不是访问频率过大，自己的小爬虫被封了？
• 是不是 socket 一直连接没有关闭造成的？
• 是不是 proxy 设置问题？

个人觉得是访问频率过大的原因造成的， 建议搜下如何伪装自己的爬虫和控制访问频率。