2020年10月7日
python程序提速之进程池-->multiprocessing
摘要： 最近做了个爬虫项目 ，对于请求速度要求颇高，刚开始使用了多线程，ThreadPoolExecutor，但是测试数据150条，运行时间都要30秒左右，最快也24秒，这远远不能满足需求，后来了解到python的多线程是无法进行提速的，原因是因为GIL（全局解释器锁），可自行了解原因。后来就改了用多进程， 阅读全文
posted @ 2020-10-07 00:20 猫着鱼 阅读(296) 评论(0) 推荐(0) 编辑