摘要: 工作中遇到处理大批量数据的问题,大概有8w条左右的excel要取出来一一去调用api,得出的结果还需要进行数据过滤,然后再写回excel,单线程跑大概跑了2个多小时,实属麻烦,万一代码中有什么bug,快结束的时候报错的话..................,于是换成多线程,15个线程大概跑了10多分 阅读全文
posted @ 2021-11-05 12:04 力王7314 阅读(170) 评论(0) 推荐(0) 编辑
摘要: 利用连接池连接postgresql,这里要注意的是,如果fetchall报错的话有可能是字符编码,需要设置字符编码如下: import psycopg2.pool from time import time t = time() n = 10000 simple_conn_pool = psycop 阅读全文
posted @ 2021-11-05 12:00 力王7314 阅读(1307) 评论(0) 推荐(0) 编辑