Python 3 并发编程多进程之进程同步（锁）

时间：2023-03-09 06:23:43
Python 3 并发编程多进程之进程同步（锁）

Python 3 并发编程多进程之进程同步（锁）

进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,竞争带来的结果就是错乱，如何控制，就是加锁处理。

1、多个进程共享同一打印终端

from multiprocessing import Process

import os,time

def work():

    print('%s is running' %os.getpid())

    time.sleep(2)

    print('%s is done' %os.getpid())

if __name__ == '__main__':

    for i in range(3):

        p=Process(target=work)

        p.start()

并发运行,效率高,但竞争同一打印终端,带来了打印错乱

from multiprocessing import Process,Lock

import os,time

def work(lock):

    lock.acquire()

    print('%s is running' %os.getpid())

    time.sleep(2)

    print('%s is done' %os.getpid())

    lock.release()

if __name__ == '__main__':

    lock=Lock()

    for i in range(3):

        p=Process(target=work,args=(lock,))

        p.start()

由并发变成了串行,牺牲了运行效率,但避免了竞争

2、多个进程共享同一文件

文件当数据库，模拟抢票

#文件db的内容为：{"count":1}

#注意一定要用双引号，不然json无法识别

from multiprocessing import Process,Lock

import time,json,random

def search():

    dic=json.load(open('db.txt'))

    print('\033[43m剩余票数%s\033[0m' %dic['count'])

def get():

    dic=json.load(open('db.txt'))

    time.sleep(0.1) #模拟读数据的网络延迟

    if dic['count'] >0:

        dic['count']-=1

        time.sleep(0.2) #模拟写数据的网络延迟

        json.dump(dic,open('db.txt','w'))

        print('\033[43m购票成功\033[0m')

def task(lock):

    search()

    get()

if __name__ == '__main__':

    lock=Lock()

    for i in range(100): #模拟并发100个客户端抢票

        p=Process(target=task,args=(lock,))

        p.start()

并发运行，效率高，但竞争写同一文件，数据写入错乱

#文件db的内容为：{"count":1}

#注意一定要用双引号，不然json无法识别

from multiprocessing import Process,Lock

import time,json,random

def search():

    dic=json.load(open('db.txt'))

    print('\033[43m剩余票数%s\033[0m' %dic['count'])

def get():

    dic=json.load(open('db.txt'))

    time.sleep(0.1) #模拟读数据的网络延迟

    if dic['count'] >0:

        dic['count']-=1

        time.sleep(0.2) #模拟写数据的网络延迟

        json.dump(dic,open('db.txt','w'))

        print('\033[43m购票成功\033[0m')

def task(lock):

    search()

    lock.acquire()

    get()

    lock.release()

if __name__ == '__main__':

    lock=Lock()

    for i in range(100): #模拟并发100个客户端抢票

        p=Process(target=task,args=(lock,))

        p.start()

加锁：购票行为由并发变成了串行，牺牲了运行效率，但保证了数据安全

加锁可以保证多个进程修改同一块数据时，同一时间只能有一个任务可以进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。

虽然可以用文件共享数据实现进程间通信，但问题是：

1.效率低

2.需要自己加锁处理

为此mutiprocessing模块为我们提供了基于消息的IPC通信机制：队列和管道。

1 队列和管道都是将数据存放于内存中

2 队列又是基于（管道+锁）实现的，可以让我们从复杂的锁问题中解脱出来，

我们应该尽量避免使用共享数据，尽可能使用消息传递和队列，避免处理复杂的同步和锁问题，而且在进程数目增多时，往往可以获得更好的可获展性。

相关文章