python程序提速之进程池-->multiprocessing

最近做了个爬虫项目 ，对于请求速度要求颇高，刚开始使用了多线程，ThreadPoolExecutor，但是测试数据150条，运行时间都要30秒左右，最快也24秒，这远远不能满足需求，后来了解到python的多线程是无法进行提速的，原因是因为GIL（全局解释器锁），可自行了解原因。后来就改了用多进程，multiprocessing，通过使用子进程而非线程有效地绕过了全局解释器锁。所以速度那是神一般上来了，哈哈哈哈哈，看图