Python 一行代码实现并行

需求

　　给定一个list   针对list 中每个元素执行一定的操作（这个操作很费时间，例如爬数据的时候调用某个网站的接口），返回操作后的list

　　例如 给定 1-10个数，在每个数字后面加个字母a

 

方法

1、利用线程池pool 及map 函数 实现

from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool
import time
pool = ThreadPool(10)

#定义函数
def add(x):
    time.sleep(0.2)
    return str(x) + 'a'

ll = list(range(0,10))


#原始map
start = time.time()
res = map(add, ll)
print res
print time.time() - start

#线程池map
start = time.time()
res = pool.map(add,ll) 
print res
print time.time() - start

结论：

可以发现 运行时间缩短了。一定要保证所执行的函数比较费时间，才可以用，否则 大部分时间都用在分发任务上了，

多线程不一定比单线程快。 感兴趣的同学可以试试把time.sleep()去掉。

 

 

python3

 

from multiprocessing import Pool
from multiprocessing.dummy import Pool as ThreadPool
import multiprocessing
import time

import numpy as np




def cal_sim(A,B):

        A = np.array(A)
        B = np.array(B)
        num = A.T * B #若为行向量则 A * B.T
        num = num.sum()
        denom = np.linalg.norm(A) * np.linalg.norm(B)
        cos = num / denom #余弦值
        sim = 0.5 + 0.5 * cos #归一化
        return sim

#线程池map
start = time.time()
A_list = [np.array([1]),np.array([5])]
B_list = [np.array([2]),np.array([3])]


with multiprocessing.Pool(processes=3) as pool:
    results = pool.starmap(cal_sim, zip(A_list,B_list))
print (results)

 

参考：

http://python.jobbole.com/81690/