Python爬虫基础讲解（二十）：多进程——multiprocessing模块的使用

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542 

 

Python学习交流群：1039649593

multiprocessing模块

multiprocessing包是Python中的多进程管理包。与threading.Thread类似，它可以使用multiprocessing.Proces 对象来创建一个进程。

该进程可以运行在Python程序内部编写的函数。该Process对象与Thread对象的用法相同，也start(),run()的方法。

此外multiprocessing包中也有Lock/Event/Semaphore/Condition类(这些对象可以像多线程那样，通过参数传递给各个进程)，用以同步进程，其用法与threading包中的同名类一致。

所以，multiprocessing的很大一部份与threading使用同一套API，只不过换到了多进程的情境。接下来我们通过一个案例学习:

import time
import multiprocessing

def download () :
    print("开始下载文件...")
    time.sleep(1)
    print("完成下载文件...")

def upload() :
    print("开始上传文件...")
    time.sleep(1)
    print("完成上传文件...")

#download()
# upload()
#多进程与多线程的使用方式是差不多的
download_process = multiprocessing.Process(target=download)
upload_process = multiprocessing. Process(target=upload)
if _name_ == '_main_':
    #多进程必须要在 if _name_ == "_main_”里面
    download_process.start()
    upload_process.start ()
    #默认情况下，主进程代码运行完毕之后会等待子进程结束
    print('--主进程运行完了---')

 

上述代码是一个非常简单的程序，一旦运行这个程序，按照代码的执行顺序，download 函数执行完毕后才能执行upload 函数﹒如果可以让download和upload同时运行，显然执行这个程序的效率会大大提升。

 

 

要点：

• 进程(Process)是资源分配的最小单位

• 多进程是Python程序中实现多任务的一种方式，使用多进程可以大大提高程序的执行效率

1. 进程的创建

• 导入进程包
  import multiprocessing

• 通过进程类创建进程对象
  进程对象= multiprocessing.Process()

• 启动进程执行任务
  进程对象.start()

通过进程类创建进程对象
进程对象=multiprocessing.Process(target=任务名)

 

 

 

2. 进程的参数传递

带有参数的任务

 

 

进程执行带有参数的任务传参有两种方式：

• 元组方式传参∶元组方式传参一定要和参数的顺序保持一致。

• 字典方式传参:字典方式传参字典中的key一定要和参数名保持一致。