django使用celery进行耗时任务的优化

时间:2022-05-22 12:09:58

# 原创,转载请留言联系

在用django做项目的时候,做到注册模块时,需要发送短信验证码。本来简简单单的做好了,后来优化的时候发现,发送短信验证码的时候需要一点时间,在这个时间之内程序是阻塞的,用户体验太不好了。往往都是点击获取验证码后,过了几秒钟之后才显示发送成功。所以想到了用celery异步任务队列优化一下。

celery原理详解:https://www.cnblogs.com/chichung/p/9957763.html

通过celery可以把发短信验证码的这部分交给其他进程来做,视图继续往下执行,那么当用户点击发送验证码的时候,就能马上显示发送成功了。

还是先看一下大体流程图:

django使用celery进行耗时任务的优化

  • 步骤:

1.安装celery

pip install celery

2.创建celery存放文件件

一般来用,celery会独立放在项目文件下。

创建文件夹如下:

celery_tasks/
├── __init__.py
├── main.py    # 创建celery应用的地方
└── sms
    ├── __init__.py
    └── tasks.py    # 任务函数存放的地方,注意,tasks这个名字是固定的,不能改,如果改的话worker找不到!

3.创建celery应用

在main.py上:

from celery import Celery

# 第一个参数,是应用名,可以随便写
# 第二个参数,是中间人broker(用来保存任务)的储存地方,保存在本机的redis的15号库
celery_app = Celery("meiduo",broker="redis://127.0.0.1:6379/15")

4.创建celery任务

@celery.task  # 装饰器表示把这个函数标记为celery的任务函数
def send_sms(mobile,sms_codes):
# 下面是实现短信验证码发送的逻辑
result = CCP().send_template_sms(mobile, [sms_codes, constants.SMS_CODE_REDIS_EXPIRES // 60],
constants.SEND_SMS_TEMPLATE_ID)

5.设置django配置文件的路径。

在main.py上:

# 设置django配置文件的路径(需要在创建celery应用之前设置),设置了配置文件,celery才知道django的导包路径是怎么样的!
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "meiduo_mall.settings.dev") # 第一个参数,是应用名,可以随便写
# 第二个参数,是中间人broker(用来保存任务)的储存地方,保存在本机的redis的15号库
celery_app = Celery("meiduo",broker="redis://127.0.0.1:6379/15")

6.指定用celery执行的任务函数的位置

# 设置django配置文件的路径(需要在创建celery应用之前设置),设置了配置文件,celery才知道django的导包路径是怎么样的!
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "meiduo_mall.settings.dev") # 第一个参数,是应用名,可以随便写
# 第二个参数,是中间人broker(用来保存任务)的储存地方,保存在本机的redis的15号库
celery_app = Celery("meiduo",broker="redis://127.0.0.1:6379/15") # 指定任务函数的文件夹位置,表示从哪些位置找到任务函数。
# 查找的方法是,找到sms文件夹,然后就会自动去找tasks.py。这就是为什么task.py不能乱起名的原因。然后找到task.py里面有celery应用装饰的函数。
celery_app.autodiscover_tasks(['celery_tasks.sms'])

7.启动worker进程

celery -A celery应用所在py文件 worker -l info
    例: celery -A celery_tasks.main worker -l info

服务器启动后能够看到如下任务,worker进程才能正常工作处理任务
    [tasks]
      . celery_tasks.sms.tasks.send_sms_code

8.通过装饰器name参数自定义任务名(可选)

@celery_app.task(name='send_sms_code')
    def send_sms_code(mobile, sms_code):
        ...
        
    自定义完后,启动celery工作进程在输出信息中可以看到如下任务名
    [tasks]
      . send_sms_code

9.发送任务:  调用delay方法发送异步任务

在视图可以调用任务函数进行发送任务了,任务会储存在中间人broker,woker空闲时就会取出并执行。

class SmsCodesView(APIView):
def get(self,request,mobile):
...
# 发送验证码
send_sms.delay(mobile,sms_codes) ...

10.worker执行任务

示例:

[2017-01-22 xxxx: INFO/ForkPoolWorker-2] Task         
celery_tasks.sms.tasks.send_sms_code[2f4dc753-3cd5-4eaa-994a-d944c45a857c]
succeeded in 3.2456164589966647s: None

  • 拓展

1.中间人broker是怎么存储任务的?

使用json存储:保存了任务函数标识,任务函数名,调用参数等

2.如果任务函数有返回值,应该怎么取?

(1)首先,需要有一个地方存储任务函数的返回值。这里选择redis的14号库。

修改main.py

celery_app = Celery('meiduo',broker='redis://127.0.0.1:6379/15',backend='redis://127.0.0.1:6379/14')

这时候,worker执行完任务函数后,会把任务函数的返回值存储在redis上。

(2)怎么把返回值取出来用呢?

假设发送短信这个任务函数有返回值,如果是0就是发送成功,是-1就是发送失败。

result = send_sms.delay(mobile,sms_codes)

应该怎么拿到result的值呢?

其实,当worker执行完之后,result.ready()的值是True。未执行完是False。

当执行会之后(result.ready=True),可以用get方法取出返回值。

result.get()

(3)怎么把配置文件独立在一个文件里面呢?

1. 在celery_tasks包下创建配置文件 config.py, 并定义配置如下
    broker_url ='redis://127.0.0.1:6379/15'
    backend_url='redis://127.0.0.1:6379/14'
    
2. 加载配置文件
    celery_app = Celery('meiduo')  # 把配置都放到了config.py文件
    celery_app.config_from_object('celery_tasks.config')