Python处理计算密集型任务多少个进程最优?一个小测试

python多进程处理测试:

INFO: 任务数:300

INFO: 300个任务已经推送完毕

测试机型:CPU: i7-8700 3.2GHz 12个逻辑处理器
  # 1进程 CPU%20 Processing: 94%|█████████▎| 281/300 [02:08<00:02, 1.78it/s]
  # 4进程 CPU%40 Processing: 94%|█████████▎| 281/300 [00:48<00:02, 6.02it/s]
  # 6进程 CPU%70 Processing: 94%|█████████▎| 281/300 [00:38<00:02, 7.50it/s]
  # 8进程 CPU%95 Processing: 94%|█████████▎| 281/300 [00:33<00:02, 8.51it/s] 次优
  # 10进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.56it/s] 最优
  # 12进程 CPU%100 Processing: 94%|█████████▎| 281/300 [00:30<00:02, 9.36it/s] 处理效率出现下滑

结论:对于使用本机型处理计算密集型的python运算使用8到10个进程比较合适。其他机型可参考。

posted @ 2021-11-19 15:27  橘个栗子  阅读(311)  评论(0编辑  收藏  举报