摘要: 免费代理的网站: http://www.xicidaili.com/nn/ 代码部分: import requestsproxy='124.243.226.18:8888' #如果代理需要验证,只需要在前面加上用户名密码,如下所示 # proxy='username:password@124.243 阅读全文
posted @ 2021-06-15 16:52 布都御魂 阅读(2378) 评论(0) 推荐(0) 编辑
摘要: 错误:'pandas' has no attribute 'DataFrame' 解决方法:文件名不能是csv.py 保存文件名不能是csv.csv 阅读全文
posted @ 2021-06-11 17:13 布都御魂 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 错误:requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot 阅读全文
posted @ 2021-06-11 09:47 布都御魂 阅读(154) 评论(0) 推荐(0) 编辑
摘要: import reimport requestsimport timeimport randomfrom selenium import webdriverfrom tools.headers import headersfor item in range(1, 100): time.sleep(r 阅读全文
posted @ 2021-06-10 17:13 布都御魂 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 1.ip被封。2.http的连接数超过最大限制。headers的Connection参数默认为keep-alive,导致之前所有的链接都一直存在,占用了后续的链接请求。3.网站服务器太差,爬取请求的速度太快。(我的就是这样)解决方案:1.换ip,更换headers或者使用代理ip。2.将Connec 阅读全文
posted @ 2021-06-10 16:13 布都御魂 阅读(7168) 评论(0) 推荐(0) 编辑
摘要: 1.首先排除网络问题 2.打开host:C:\Windows\System32\drivers\etc在最后加上添加192.30.253.112 github.com192.30.253.119 gist.github.com151.101.100.133 assets-cdn.github.com 阅读全文
posted @ 2021-06-10 14:48 布都御魂 阅读(782) 评论(0) 推荐(0) 编辑
摘要: 1.ctrl+a全选 2.点击数据,重复项 3.删除重复项 阅读全文
posted @ 2021-06-09 16:50 布都御魂 阅读(228) 评论(0) 推荐(0) 编辑
摘要: cd D:\pythonProject\fastapi cd 文件所在目录uvicorn main:app --host=127.0.0.1 --port=8000 --reload main是脚本名,app是fastapi实例化名 --host=127.0.0.1 --port=8000 本地计算 阅读全文
posted @ 2021-06-09 16:41 布都御魂 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 1.ctrl+g找到空值,点击定位 2.右键删除整行 3.把需要合并的表格标题行删除 4.重复1,2 5.ctrl+a全选,ctrl+c复制文本到需要合并的总文本上 6.保存 阅读全文
posted @ 2021-06-09 16:28 布都御魂 阅读(256) 评论(0) 推荐(0) 编辑
摘要: { [MongoError: E11000 duplicate key error collection: zhihu.people index: id dup key: { : ObjectId(‘59a3b9275f063c20cc8bdec7’) }]name: ‘MongoError’,me 阅读全文
posted @ 2021-06-08 10:43 布都御魂 阅读(350) 评论(0) 推荐(0) 编辑