python3多线程爬虫(第一卷)
多进程虽然使用方便,可以充分利用CPU,但是由于个进程之间是并行且各自有自己的数据存储,所以很难进行数据间的通信,需要接入第三方模块,现在我依旧用糗事百科讲解下多线程的应用,举个例子之前用4个进程同时抓取糗事百科的段子数据,现在呢我需要在一个进程里开启多个线程分别抓取糗事百科的段子与用户信息,也就是我将同一次住去任务分成了两个任务,一个进程连个任务由连个线程抓取:
先来看看正常的抓取:
看下最后所用的时间
时间是7秒多一些
现在将全局变量换一下:
所用时间为1秒 多线程可以实现线程间通信存储