2022年5月2日
使用dask和ThreadPoolExecutor多线程处理pandas的DataFrame数据并用tqdm显示处理进度
摘要： 在pandas数据较大（千万行）时，使用groupby函数并对聚合的数据进行一系列操作需要耗费非常多的时间，但是查看cpu性能时发现cpu占用率非常低。于是萌生使用多线程加速的想法，至少让cpu满载工作。 - 原始代码： ```python for user, user_hist in review 阅读全文
posted @ 2022-05-02 23:59 风和雨滴 阅读(1357) 评论(0) 推荐(0) 编辑