GIL，queue，进程池与线程池

时间：2023-03-08 20:38:32

GIL

1.什么是GIL（这是Cpython解释器）

GIL本质就是一把互斥锁，既然是互斥锁，原理都是一样的，都是让多个并发线程同一时间只能有一个执行

即：有了GIL的存在，同一进程内的多个线程同一时刻只能有一个在运行，意味着Cpython中一个进程下的多个线程无法实现并行，所以就无法利用多核优势，但不影响并发的实现

GIL可以被比喻成执行权限，同一进程下的所有线程，想要执行都需要先抢执行权限

2.为何要有GIL

因为Cpython解释器自带垃圾回收机制不是线程安全的

3.如何用

GIL vs 自定义互斥锁

GIL相当于执行权限，会在任务无法执行的情况下，被强行释放

自定义互斥锁即便是无法执行，也不会自动释放

4.有两种并发解决方案：

多进程：计算密集型

多线程：IO密集型

线程queue

#1.队列：先进先出

q=queue.Queue(3)

q.put(1)

q.put(2)

q.put(3)

print(q.get())

print(q.get())

print(q.get())

#2.堆栈：先进后出

q=queue.LifoQueue()

q.put(1)

q.put(2)

q.put(3)

print(q.get())

print(q.get())

print(q.get())

#3. 优先级队列：优先级高先出来,数字越小，优先级越高

q=queue.PriorityQueue()

q.put((3,'data1'))

q.put((-10,'data2'))

q.put((11,'data3'))

print(q.get())

print(q.get())

print(q.get())

进程池与线程池

1.什么时候用池

池的功能是限制启动的进程或线程数

什么时候应该限制？

当并发的任务数远远超过了计算机的承受能力时，即无法一次性开启过多的进程数或线程数时，就应该使用池的概念，将开启的进程数或线程数限制在计算机可承受的范围内。

2.同步vs异步

同步、异步指的是提交任务的两种方式

同步：提交任务后就在原地等待，直到任务运行完毕后拿到任务的返回值，再继续运行下一行代码

异步：提交完任务（绑定一个回调函数）后根本就不在原地等待，直接运行下一行代码，等到任务有返回值后会自动触发回调函数

from concurrent.futures import ProcessPoolExecutor,ThreadPoolExecutor

import os,time,random 

def task(n):

    print('%s run...' %os.getpid())

    time.sleep(5)

    return n**2

def parse(future):

    time.sleep(1)

    res=future.result()

    print('%s 处理了 %s' %(os.getpid(),res))

if __name__ == '__main__':

    pool=ProcessPoolExecutor(4)

    start=time.time()

    for i in range(1,5):

        future=pool.submit(task,i)

        future.add_done_callback(parse) # parse会在futrue有返回值时立刻触发，并且将future当作参数传给parse

    pool.shutdown(wait=True)

    stop=time.time()

    print('主',os.getpid(),(stop - start))

线程池只需要将pool=ProcessPoolExecutor(4)改成pool = ThreadPoolExecutor(4)即可，在使用回调时，多进程是用主进程来执行回调的，而多线程是哪个线程闲着就由哪个线程来执行

相关文章