一个Django与Celery实现异步队列任务(定时任务)教程

 Pala   2017-08-28 18:15   97 人阅读  0 条评论

本文根据以下文章讲解Django与Celery如何实现异步队列任务:

    http://python.jobbole.com/81953/

    https://realpython.com/blog/python/asynchronous-tasks-with-django-and-celery/

之所以要写这篇文章原因:

        1. 该文章有一些错误,会导致程序无法运行。

        2. 部分步骤说的不是很细,对于第一次接触celery的人来说,会有一点懵逼。

本项目利用python3.5、Django 1.11.2、Celery3.1.18和Redis3.2.1

一、概述

由于大篇幅的文字,为了您的方便,请参阅下表中的每一步的简要信息,并获取相关的代码。

步骤                 概要                                     Git标签
样板                 样板下载                                 V1
建立                 集成Celery和Django              V2
Celery任务      添加基本的Celery任务             V3
周期性任务      添加周期性任务                       V4
本地运行         本地运行我们的应用程序          V5
远程运行         远程运行我们的应用程序          V5

二、什么是Celery

“Celery是一个异步任务队列/基于分布式消息传递的作业队列。它侧重于实时操作,但对调度的支持也很好。”本文,我们将重点讲解周期性执行任务的调度特点。

为什么这一点有用呢?

回想一下你不得不在将来运行某一特定任务的经历。也许你需要每隔一小时访问一个API。或者,也许你需要在这一天结束时发送一批电子邮件。不论任务大小,Celery都可以使得调度周期性任务变的很容易。

你永远不希望终端用户等待那些不必要的页面加载或动作执行完成。如果你的应用程序工作流的一部分是一个需要很长时间的程序,当资源可用时,你就可以使用Celery在后台执行这段程序,从而使你的应用程序可以继续响应客户端的请求。这样可以使任务在应用程序的环境之外运行。

三、构建项目

在深入了解Celery之前,先从Github库中获取开始项目。确保激活一个虚拟的环境,安装必要的软件,并运行迁移。然后启动服务器,通过你的浏览器导航到http://localhost:8000/。你应当能看到‘恭喜你的第一个Django页面’。完成后,关闭服务器。
接下来,我们开始安装celery。

pip install celery==3.1.18

现在,我们通过简单的三步将celery集成到django项目中。

步骤一:创建celery.py

在“picha“目录下,创建celery.py,代码如下:

from __future__ import absolute_import
import os
from celery import Celery
from django.conf import settings

# 为Celer程序设置默认的Django设置模块
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'picha.settings')
app = Celery('picha')

# 在这里使用一个字符串表示工作人员在使用Windows时不必序列化对象。
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

请注意代码中的注释。

步骤二:引入celery应用

为了确保在django启动时加载了celery应用,在settings.py旁边新建__init__.py,并添加以下代码到__init__.py中。

from __future__ import absolute_import

# 这将确保在Django启动时始终导入应用程序,以便shared_task将使用此应用程序。
from .celery import app as celery_app

完成以上步骤后,你的项目目录应该是这样的:

├── manage.py 
├── picha 
│   ├── __init__.py 
│   ├── celery.py 
│   ├── settings.py 
│   ├── urls.py 
│   └── wsgi.py 
└── requirements.txt

步骤三:安装 Redis作为Celery的“中间件”

Celery使用中间件在django项目与celery监控者之间传递消息。在本教程中,我们使用redis作为消息中间代理。

Redis安装教程和使用教程请参考文章:http://chenxm.cc/post/287.html

首先,从官方下载页面或通过brew(BREW安装Redis)安装Redis,然后打开你的终端上,在一个新的终端窗口,启动服务器:

redis-server

你可以通过在终端中输入如下命令测试Redis是否正常工作。

>redis-cli ping
PONG

Redis应该回复PONG – 试试吧!
一旦Redis正常启动了,把下面的代码添加到你的settings.py文件中:

# CELERY STUFF 
BROKER_URL = 'redis://localhost:6379' 
CELERY_RESULT_BACKEND = 'redis://localhost:6379' 
CELERY_ACCEPT_CONTENT = ['application/json'] 
CELERY_TASK_SERIALIZER = 'json' 
CELERY_RESULT_SERIALIZER = 'json' 
CELERY_TIMEZONE = 'Africa/Nairobi'

你还需要添加Redis的作为Django项目的依赖:

pip install redis==2.10.3

就是这样了!你现在应该能够在Django中使用Celery。有关设置Celery与Django的更多信息,请查看官方Celery文档。

在继续下面步骤之前,让我们进行一些完整性检查,以确保一切都是正常的。

测试Celery worker已准备好接收任务:

I:\django\new_picha>celery -A new_picha worker -l info

 -------------- celery@DESKTOP-PVV9EBS v3.1.18 (Cipater)
---- **** -----
--- * ***  * -- Windows-10-10.0.10586-SP0
-- * - **** ---
- ** ---------- [config]
- ** ---------- .> app:         picha:0x20b6c783da0
- ** ---------- .> transport:   redis://localhost:6379//
- ** ---------- .> results:     redis://localhost:6379
- *** --- * --- .> concurrency: 8 (prefork)
-- ******* ----
--- ***** ----- [queues]
 -------------- .> celery           exchange=celery(direct) key=celery


[tasks]
  . new_picha.celery.debug_task

[2017-08-29 09:32:32,406: INFO/MainProcess] Connected to redis://localhost:6379//
[2017-08-29 09:32:33,425: INFO/MainProcess] mingle: searching for neighbors
[2017-08-29 09:32:36,433: INFO/MainProcess] mingle: all alone
[2017-08-29 09:32:41,453: WARNING/MainProcess] d:\software\python35\lib\site-packages\celery\fixups\django.py:265: UserWarning: Using settings.DEBUG leads to a memory leak, never use this setting in production environments!
  warnings.warn('Using settings.DEBUG leads to a memory leak, never '
[2017-08-29 09:32:41,455: WARNING/MainProcess] celery@DESKTOP-PVV9EBS ready.

使用CTRL-C杀死该段程序。现在,测试Celery任务调度程序是否已经准备好:

I:\django\new_picha>celery -A new_picha beat -l info
celery beat v3.1.18 (Cipater) is starting.
__    -    ... __   -        _
Configuration ->
    . broker -> redis://localhost:6379//
    . loader -> celery.loaders.app.AppLoader
    . scheduler -> celery.beat.PersistentScheduler
    . db -> celerybeat-schedule
    . logfile -> [stderr]@%INFO
    . maxinterval -> now (0s)
[2017-08-29 09:33:48,048: INFO/MainProcess] beat: Starting...

在上述完成时再次终止该进程。

celery命令总结:

$ celery -A picha worker -l info     #Celery worker接收任务启动
$ celery -A picha beat -l info       #Celery 任务调度程序启动

使用注意:

        必须要在项目文件夹下的cmd中输入该命令,否则会提示ImportError: No module named 'new_picha'错误

本文地址:http://chenxm.cc/post/286.html
版权声明:本文为原创文章,版权归 Pala 所有,欢迎分享本文,转载请保留出处!

发表评论


表情

还没有留言,还不快点抢沙发?