多线程
import threading # 这个函数名可随便定义 def run(n): print("current task:", n) if __name__ == "__main__": t1 = threading.Thread(target=run, args=("thread 1",)) t2 = threading.Thread(target=run, args=("thread 2",)) t1.start() t2.start()
创建多进程
from multiprocessing import Process, Queue def put(queue): queue.put('Queue 用法') if __name__ == '__main__': queue = Queue() pro = Process(target=put, args=(queue,)) pro.start() print(queue.get()) pro.join()
#coding: utf-8 import multiprocessing import time def func(msg): print("msg:", msg) time.sleep(3) print("end") if __name__ == "__main__": # 维持执行的进程总数为processes,当一个进程执行完毕后会添加新的进程进去 pool = multiprocessing.Pool(processes = 3) for i in range(5): msg = "hello %d" %(i) # 非阻塞式,子进程不影响主进程的执行,会直接运行到 pool.join() pool.apply_async(func, (msg, )) # 阻塞式,先执行完子进程,再执行主进程 # pool.apply(func, (msg, )) print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~") # 调用join之前,先调用close函数,否则会出错。 pool.close() # 执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束 pool.join() print("Sub-process(es) done.")
-
CPU 密集型:程序比较偏重于计算,需要经常使用CPU来运算。例如科学计算的程序,机器学习的程序等。
-
I/O 密集型:顾名思义就是程序需要频繁进行输入输出操作。爬虫程序就是典型的I/O密集型程序。
如果程序是属于CPU密集型,建议使用多进程。而多线程就更适合应用于I/O密集型程序。