Python 一行代码实现并行

时间：2023-03-09 06:26:59
Python 一行代码实现并行

需求

　　给定一个list   针对list 中每个元素执行一定的操作（这个操作很费时间，例如爬数据的时候调用某个网站的接口），返回操作后的list

　　例如 给定 1-10个数，在每个数字后面加个字母a

方法

1、利用线程池pool 及map 函数 实现

 from multiprocessing import Pool

 from multiprocessing.dummy import Pool as ThreadPool

 import time

 pool = ThreadPool(10)

 #定义函数

 def add(x):

     time.sleep(0.2)

     return str(x) + 'a'

 ll = list(range(0,10))

 #原始map

 start = time.time()

 res = map(add, ll)

 print res

 print time.time() - start

 #线程池map

 start = time.time()

 res = pool.map(add,ll)

 print res

 print time.time() - start

Python 一行代码实现并行

结论：

可以发现 运行时间缩短了。一定要保证所执行的函数比较费时间，才可以用，否则 大部分时间都用在分发任务上了，

多线程不一定比单线程快。 感兴趣的同学可以试试把time.sleep()去掉。

python3

from multiprocessing import Pool

from multiprocessing.dummy import Pool as ThreadPool

import multiprocessing

import time

import numpy as np

def cal_sim(A,B):

        A = np.array(A)

        B = np.array(B)

        num = A.T * B #若为行向量则 A * B.T

        num = num.sum()

        denom = np.linalg.norm(A) * np.linalg.norm(B)

        cos = num / denom #余弦值

        sim = 0.5 + 0.5 * cos #归一化

        return sim

#线程池map

start = time.time()

A_list = [np.array([1]),np.array([5])]

B_list = [np.array([2]),np.array([3])]

with multiprocessing.Pool(processes=3) as pool:

    results = pool.starmap(cal_sim, zip(A_list,B_list))

print (results)

参考：

http://python.jobbole.com/81690/

相关文章