五分钟看懂Celery定时任务

时间:2021-06-05 16:45:08

Django下使用Celery

使用场景:

1, Web应用。 当用户触发的一个操作需要很长时间才能执行完成,那么就可以把它当做一个任务去交给Celery去异步执行, 执行完成之后再返回给用户,这短时间用户不需要等待响应处理的过程, 反而提高了网站吞吐量和响应时间。

2, 定时任务,生产环境经常会跑一些定时任务,假如你有成千上万台服务器,上千种任务, 定时任务的管理很困难,Celery可以帮助我们快速的在不同的机器设定不同种的任务。

3, 同步完成的附加工作都可以异步完成,比如:发送短信/邮件、消息推送、清理/设置缓存等。

特性:

1, 方便地查看定时任务的执行情况,比如是否执行成功,当前状态,执行任务花费时长等。

2, 可以使用功能齐备的管理后台或者命令行添加,更新,删除任务等。

3, 方便把任务和配置管理相关联。

4, 可选多进程, Eventlet和Gevent三种模式并发执行。

5, 提供错误处理机制。

6, 提供多种任务原语,方便实现任务分组,拆分和调用链。

7, 支持多种消息代理和存储后端。

Celery的使用

pip install django

pip install django-celery

以上两个依赖安装完成之后就开始编写代码吧。

创建Dajngo工程

django-admin.py startproject dc_test       # 创建工程

django-admin.py stratapp projectmanageapp      # 创建app

创建完工程之后, 打开dc_test/dc_test/settings.py

INSTALLED_APPS = (
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'demo',
'djcelery' # 添加 djcelery应用
)
from datetime import timedelta

CELERYBEAT_SCHEDULE = {
'add-every-30-seconds': {
'task': 'demo.tasks.hello_world',
'schedule': timedelta(seconds=2),
},
}

添加完成之后,在同级目录下,创建Celery.py 文件

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
from django.conf import settings # set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'dc_test.settings') app = Celery('dc_test') # Using a string here means the worker don't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings') # Load task modules from all registered Django app configs.
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS) @app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))

celery.py文件添加完成之后在同级目录__init__.py中添加,

from __future__ import absolute_import, unicode_literals

from .celery import app as celery_app

__all__ = ['celery_app']

在app应用下创建tasks.py文件。

from __future__ import absolute_import, unicode_literals
from celery import shared_task @shared_task
def hello_world():
with open("D:\dc_test\output.txt", "a") as f:
f.write("hello world")
f.write("\n")

文件都创建好之后,就开始运行项目吧, 等项目运行成功之后会自定生成以下文件。

celerybeat-schedule.bak

celerybeat-schedule.dat

celerybeat-schedule.dir

执行tasks:

python manage.py celery worker -l info

五分钟看懂Celery定时任务

执行bate:

python manage.py ceery beat

五分钟看懂Celery定时任务

到这里之后,就可以了。赶快试试吧。

源码地址: https://github.com/Mrwyc/Django-Celery-Demo