python多任务处理
多任务解析
-
什么叫“多任务”呢？简单地说，就是操作系统可以同时运行多个任务。 现在，多核CPU已经非常普及了，但是，即使过去的单核CPU，也可以执行 多任务。由于CPU执行代码都是顺序执行的，那么，单核CPU是怎么执行多 任务的呢？
-
其实就是操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换到任务 2，任务2执行0.01秒，再切换到任务3，执行0.01秒……这样反复执行下去。 表面上看，每个任务都是交替执行的，但是，由于CPU的执行速度实在是太 快了，我们感觉就像所有任务都在同时执行一样。
-
真正的并行执行多任务只能在多核CPU上实现，但是，由于任务数量远远多 于CPU的核心数量，所以，操作系统也会自动把很多任务轮流调度到每个核 心上执行。
多任务表现形式
-
window下打开任务管理器可以很清晰看到多个进程在同时执行任务，qq、微信等都是已进程的形式寄存在window下。大多我们在写一些控制台程序真正执行的时候都是以进程调度。
-
在linux下以fork的形式创建进程，简单写个实例：
多次fork创建，进程数会已指数倍增长。
`
import os
import time
num = 0
# 主进程创建了一个子进程
ret = os.fork()
if ret == 0:
num+=1
print('ret = 0,num=%d',num)
else:
time.sleep(1)
print('he,num=%d',num)
# 主进程会再次创建一个子进程，上面的子进程也会创建一个子进程
ret = os.fork()
if ret ==0:
print('aaaaa')
else:
print('bbbb')
`
python中多进程
如果你打算编写多进程的服务程序，Unix/Linux无疑是正确的选择。由于Windows没有fork调用，由于Python是跨平台的，当然也应该提供一个跨平台的多进程支持。 multiprocessing模块就是跨平台版本的多进程模块。 multiprocessing模块提供了一个Process类来代表一个进程对象
进程池调度
- 每次指定几个进程同时执行任务
`
from multiprocessing import Pool
import os
import time
def worker(num):
print('pid = %d,num = %d'%(os.getpid(),num))
time.sleep(2)
pool = Pool(3)
for i in range(10):
print('%d'%i)
pool.apply_async(worker,(i,))
pool.close()
pool.join()
`
- apply_async非阻塞式调度，apply阻塞式调度
进程间通讯
-
任何进程间资源都是独立的，所有一切都是不可以共享的。实现资源共享、进程间通讯比较常用的方式就是Queue。
-
使用Queue可以解决Process创建的进程之间的通讯，但是无法解决进程池中进程之间通讯。
-
进程池进程之间的通讯需要使用Manager.Queue()创建的队列。
实现基于多进程的文件拷贝
`
# coding:utf-8
from multiprocessing import Pool,Manager
import os
def CopyFile(oldPath,newPath,fileName,queue):
fr = open(oldPath+'/'+fileName)
fw = open(newPath+'/'+fileName,'w')
# 当然如果是较大文件时，不要一次性读写
content = fr.read()
fw.write(content)
fr.close()
fw.close()
queue.put(fileName)
def Main():
oldPath = input('please input folder path：')
newPath = oldPath+'-backups'
os.makedirs(newPath)
fileNames = os.listdir(oldPath)
pool = Pool(5)
queue = Manager().Queue()
for name in fileNames:
pool.apply_async(CopyFile,args=(oldPath,newPath,name,queue))
num = 0
allNum = len(fileNames)
while num<allNum:
queue.get()
num += 1
copyRate = num/allNum
print('\r当前copy进度：%.2f%%'%(copyRate*100),end='')
print('\n 已完成copy！')
if __name__ == '__main__':
Main()
`
