python 协程 greenlet gevent

一、并发的本质

切换+保存状态

cpu正在运行一个任务，会在两种情况下切走去执行其他的任务（切换由操作系统强制控制），一种情况是该任务发生了阻塞，另外一种情况是该任务计算的时间过长时间片到了

二、协程

协程：是单线程下的并发，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会*交出cpu执行权限，切换其他线程运行）

2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

三、协程的优缺点

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如下：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

#2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

四、协程的特点

1. 必须在只有一个单线程里实现并发

2. 修改共享数据不需加锁

3. 用户程序里自己保存多个控制流的上下文栈

4. 附加：一个协程遇到IO操作自动切换到其它协程（如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块（select机制））

　　（协程：本质是一个线程，能够在多个任务切换节省IO时间，任务切换耗时短，协程任务切换由程序完成）

五、在任务中切换的例子

def consumer():

    while True:

        x = yield

        print('deal:',x)

def producer():

    c = consumer()

    next(c)

    for i in range(10):

        print('generate:',i)

        c.send(i)

producer()

六、greenlet

简单实例

#使用greenlet实现任务切换

from greenlet import greenlet

def eat():

    print('eat start')

    g2.switch()

    print('eat end')

    g2.switch()

def play():

    print('playing start')

    g1.switch()

    print('playing end')

g1 = greenlet(eat)

g2 = greenlet(play)

g1.switch()

实例的执行顺序

七、gevent

gevent

Gevent 是一个第三方库，可以轻松通过gevent实现并发同步或异步编程，在gevent中用到的主要模式是Greenlet, 它是以C扩展模块形式接入Python的轻量级协程。 Greenlet全部运行在主程序操作系统进程的内部，但它们被协作式地调度。

简介

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

例子1

#如果没有遇到能识别的IO操作，不会进行任务切换，实现并发效果

#要加上from gevent import monkey;monkey.patch_all()

from gevent import monkey;monkey.patch_all()

import gevent,time

def eat():

    print('eat start')

    time.sleep(1)

    print('eat end')

def play():

    print('playing start')

    time.sleep(1)

    print('playing end')

g1 = gevent.spawn(eat)

g2 = gevent.spawn(play)

g1.join()

g2.join()

例子2

#我们可以用threading.current_thread().getName()来查看每个g1和g2，查看的结果为DummyThread-n，即假线程

from gevent import monkey;monkey.patch_all()

import threading

import gevent

import time

def eat():

    print(threading.current_thread().getName())

    print('eat food 1')

    time.sleep(2)

    print('eat food 2')

def play():

    print(threading.current_thread().getName())

    print('play 1')

    time.sleep(1)

    print('play 2')

g1=gevent.spawn(eat)

g2=gevent.spawn(play)

gevent.joinall([g1,g2])

print('主')

同步、异步效果

from gevent import monkey;monkey.patch_all()

import gevent

import time

def task():

    time.sleep(1)

    print(123)

def synchronouse():

    for i in range(10):

        task()

def asynchronouse():

    g_lst=[]

    for i in range(10):

        g = gevent.spawn(task)

        g_lst.append(g)

    gevent.joinall(g_lst)

synchronouse()

print('---')

asynchronouse()

例子-获取网站源码

from gevent import monkey;monkey.patch_all()

import requests

import gevent

url = ['http://www.baidu.com',

       'http://www.sogou.com',

       'http://www.hao123.com',

       'http://www.taobao.com',

       'http://www.cnblog.com']

def get_url(url):

    res = requests.get(url)

    content = res.content

    return len(content)

g_lst = []

for i in url:

    g_lst.append(gevent.spawn(get_url,i))

gevent.joinall(g_lst)

for i in g_lst:

    print(i.value)

秒客网

python 协程 greenlet gevent

相关文章