摘要: import reimport requestsimport timeimport randomfrom selenium import webdriverfrom tools.headers import headersfor item in range(1, 100): time.sleep(r 阅读全文
posted @ 2021-06-10 17:13 布都御魂 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 1.ip被封。2.http的连接数超过最大限制。headers的Connection参数默认为keep-alive,导致之前所有的链接都一直存在,占用了后续的链接请求。3.网站服务器太差,爬取请求的速度太快。(我的就是这样)解决方案:1.换ip,更换headers或者使用代理ip。2.将Connec 阅读全文
posted @ 2021-06-10 16:13 布都御魂 阅读(7168) 评论(0) 推荐(0) 编辑
摘要: 1.首先排除网络问题 2.打开host:C:\Windows\System32\drivers\etc在最后加上添加192.30.253.112 github.com192.30.253.119 gist.github.com151.101.100.133 assets-cdn.github.com 阅读全文
posted @ 2021-06-10 14:48 布都御魂 阅读(782) 评论(0) 推荐(0) 编辑