06 2021 档案
删除字符串中的emoji表情
摘要："""author:张鑫date:2021/6/30 10:06"""import emojiimport redef del_emoji(text): text = emoji.demojize(text) result = re.sub(':\S+?:', ' ', text) result =
selenium调用谷歌浏览器失败
摘要：错误信息：selenium.common.exceptions.WebDriverException: Message: unknown error: cannot find Chrome binary 解决方法： from selenium import webdriver option = we
天眼查全球企业爬虫
摘要：''' 中国蒙古朝鲜韩国日本菲律宾越南老挝柬埔寨缅甸泰国马来西亚文莱新加坡印度尼西亚东帝汶尼泊尔不丹孟加拉国印度巴基斯坦斯里兰卡马尔代夫哈萨克斯坦吉尔吉斯斯坦塔吉克斯坦乌兹别克斯坦土库曼斯坦阿富汗伊拉克伊朗叙利亚约旦黎巴嫩以色列巴勒斯坦沙特阿拉伯巴林卡塔尔科威特阿拉伯联合酋长国（阿联酋）阿曼也门格鲁
读写TXT
摘要：import randomimport re# list1 = [# 'a', '1', 'A',# 'b', '2', 'B',# 'c', '3', 'C',# 'd', '4', 'D',# ]'''# 循环写入for i in range(100): # a是可重复。w是覆盖 with op
OSError: [Errno 22] Invalid argument
摘要：错误：转换数字为时间时报错 解决办法：超过最大数限制，最多10位，时间转化只能到2286-11-21 01:46:39
判断日期先后
摘要：from datetime import datetimetarget_time = '2020-02-28 11:38:53'format_pattern = '%Y-%m-%d %H:%M:%S'cur_time = datetime.now()# 将 'cur_time' 类型时间通过格式化模
xpath报错
摘要：错误信息：lxml.etree.XPathEvalError: Invalid expression 解决办法：查看符号是否写错 1.反斜杠的问题：错误示范：title = sel.xpath(’//div/h2/a text()’)正确：title = sel.xpath(’//div/h2/a/
selenium解决异步加载
摘要：from time import sleepfrom selenium import webdriver driver = webdriver.Chrome()# 华为市场的urlhuawei_url = "https://appgallery1.huawei.com/#/Apps"driver.g
进入pycharm时报错
摘要：报错信息：javax.imageio.IIOException: Can‘t get input stream from URL! 解决办法：开启背景图片，导致backgrand-image和Idea不是完美的兼容，所以打开pycharm的时候会报错 1.关闭或者卸载插件 2.不管他
友链
摘要：欢迎来到我的友链小屋 展示本站所有友情站点，排列不分先后，均匀打乱算法随机渲染的喔！ 友链信息 博客名称：布都御魂博客网址：https://www.cnblogs.com/wolvies/博客头像：https://images.cnblogs.com/cnblogs_com/blogs/68795…
selenium储存位置报错
摘要：错误信息：selenium.common.exceptions.WebDriverException: Message: unknown error: Could not remove old devtools port file. Perhaps the given user-data-dir a
xpath
摘要：from lxml import etree# 实例化一个etree对象# 读取本地文档tree = etree.parse('html_prac.html')# 读取网络文档# html = etree.HTML(html)'''# 子节点/和子孙节点//定位# 从根节点进行定位tree1 = t
读写csv
摘要：'''csv写入方式：字典或者逐行写入csv第一行一般为字段csv读取使用for遍历csv文件读写需要特殊设置，例如：换行符，分隔符，写入与读取要设置一致。'''import pandas as pd# # a和b的长度必须保持一致，否则报错# a = [x for x in range(5)]#
python爬虫，使用requests设置代理
摘要：免费代理的网站: http://www.xicidaili.com/nn/ 代码部分： import requestsproxy='124.243.226.18:8888' #如果代理需要验证，只需要在前面加上用户名密码，如下所示 # proxy='username:password@124.243
代理错误
摘要：错误：requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot
构建免费ip池
摘要：import reimport requestsimport timeimport randomfrom selenium import webdriverfrom tools.headers import headersfor item in range(1, 100): time.sleep(r
Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败
摘要：1.ip被封。2.http的连接数超过最大限制。headers的Connection参数默认为keep-alive，导致之前所有的链接都一直存在，占用了后续的链接请求。3.网站服务器太差，爬取请求的速度太快。（我的就是这样）解决方案：1.换ip，更换headers或者使用代理ip。2.将Connec
github进不去
摘要：1.首先排除网络问题 2.打开host：C:\Windows\System32\drivers\etc在最后加上添加192.30.253.112 github.com192.30.253.119 gist.github.com151.101.100.133 assets-cdn.github.com
把数据库中的数据展示在本地
摘要：cd D:\pythonProject\fastapi cd 文件所在目录uvicorn main:app --host=127.0.0.1 --port=8000 --reload main是脚本名，app是fastapi实例化名 --host=127.0.0.1 --port=8000 本地计算
wps表格合并
摘要：1.ctrl+g找到空值，点击定位 2.右键删除整行 3.把需要合并的表格标题行删除 4.重复1,2 5.ctrl+a全选，ctrl+c复制文本到需要合并的总文本上 6.保存
mongodb数据库插入错误
摘要：{ [MongoError: E11000 duplicate key error collection: zhihu.people index: id dup key: { : ObjectId(‘59a3b9275f063c20cc8bdec7’) }]name: ‘MongoError’,me
mysql数据库：10061
摘要：10061：win+r:services.msc,启动mysqlpymysql.err.InterfaceError: (0, '')：取消db.close()
汉字与编码转换
摘要：汉字转编码：from urllib.parse import quote keyword = '助农'keywords = quote(keyword)print(keywords) 编码转汉字：from urllib.parse import unquote a = unquote('%E5%8A
cookie报错
摘要：error：'latin-1' codec can't encode characters in position 770-772: ordinal not in range(256) cookie中出现汉字，使用quote（‘汉字’）转换为编码即可 from urllib.oarse import
mitmdump用法
摘要：先打开filder，再打开模拟器，使用脚本不要设置休眠 unable to get local issuer certificate (errno: 20, depth: 0) ：mitmdump --ssl-insecure提示错误，但可以抓到数据
超级鹰
摘要：import requestsfrom hashlib import md5class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username passw
wps转office
摘要：PermissionError: [Errno 13] Permission denied：字段里不能有空格 执行文件 from docxtpl import DocxTemplatefrom datetime import datetimeimport timeimport datetimeimp
mongo用法
摘要：启动mongo： mongod --dbpath E:\mongodb\MongoDB\data\db 把mongo数据库中数据导出成Excel：找到MongoDB所在目录的bin文件夹，输入cmd，输入mongoexport -d douyin -c comments -f _id,text,cr
