本文介绍了分布式任务调度系统Celery，包括安装，开发使用，并且配合supervisor，flower等工具进行系统化部署和使用。

（一）安装和代码开发使用示例

一，简介

Celery是一个分布式任务调度系统，简单、灵活、可靠，是一个处理大量消息的分布式系统。专注于实时处理的异步任务队列，同时也支持任务调度。

Celery的架构由三部分组成：

AMQP broker：即消息中间件，Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等。

celery workers：即任务执行单元，是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

task result store：即任务执行结果存储，用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等。

二，Celery安装

2.1 安装celery相关包

pip3 install eventlet

pip3 install celery

pip3 install pymongo

pip3 install flower

2.2 配置环境变量

export PATH=/usr/local/python3/bin:$PATH

echo "PATH=/usr/local/python3/bin:$PATH" >> /etc/profile.d/python3.sh

cd /etc/profile.d/

chmod 777 python3.sh

2.3 oracle环境变量配置

如果用到oracle数据库，需要增加oracle环境变量配置信息到python3.sh

cat /etc/profile 查看oracle环境变量配置

export PATH=/opt/oracle/instantclient_11_2:$PATH

echo "PATH=/opt/oracle/instantclient_11_2:$PATH" >> /etc/profile.d/python3.sh

cd /etc/profile.d/

chmod 777 python3.sh

# locate libclntsh.so.11.1

/opt/oracle/instantclient_11_2/libclntsh.so.11.1

# vim /etc/ld.so.conf

在最后一行添加如下内容：

/opt/oracle/instantclient_11_2

执行ldconfig

# ldconfig

三，Celery使用

3.1 celery --help

3.2 celery work --help

3.3 应用实例代码结构

3.4 运行后rabbitmq中内容

3.5 启动worker命令

（二）Supervisor使用

一，简介

Supervisor是一个进程管理工具，也可以理解为进程守护监控，当进程中断的时候Supervisor能自动重新启动它。Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。

在线上环境中，为了celery高可用性，肯定需要配置celery自动失败重启和开机自启动等，保证celery服务端和客户端的可用性。

二，Supervisor安装

2.1 下载包地址

https://files.pythonhosted.org/packages/2f/43/130066cd6003233401142f5f98cd09c93165f5c6408f850dd965b4f2470e/supervisor-4.2.0-py2.py3-none-any.whl

2.2 安装下载包

pip3 install supervisor

2.3 创建配置文件

创建

/etc/supervisor/supervisord.conf配置文件

vim /etc/supervisor/supervisord.conf

内容如下：

[unix_http_server]

file=/tmp/supervisor.sock ; path to your socket file

port=127.0.0.1:9001

[supervisord]

logfile=/var/log/supervisord/supervisord.log ; supervisord log file

logfile_maxbytes=50MB ; maximum size of logfile before rotation

logfile_backups=10 ; number of backed up logfiles

loglevel=info ; info, debug, warn, trace

pidfile=/var/run/supervisord.pid ; pidfile location

nodaemon=false ; run supervisord as a daemon

minfds=1024 ; number of startup file descriptors

minprocs=200 ; number of process descriptors

user=root ; default user

childlogdir=/var/log/supervisord/ ; where child log files will live

[rpcinterface:supervisor]

supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]

serverurl=unix:///tmp/supervisor.sock ; use unix:// schem for a unix sockets.

[include]

# Uncomment this line for celeryd for Python

;files=celeryd.confi

files = /etc/supervisor/supervisord.conf.d/*.conf

2.4 创建文件

创建celeryd_worker.conf文件

vim /etc/supervisor/supervisord.conf.d/celeryd_worker.conf

[program:celery]

command=/usr/local/python3/bin/celery -A app worker -l info -n 192.168.12.150 -Q add

directory=/tmp/pycharm_project_146 # 运行命令的目录

numprocs=1

# 设置log的路径

stdout_logfile=/var/log/supervisor/celeryworker.log

stderr_logfile=/var/log/supervisor/celeryworker.log

autostart=true

autorestart=true

startsecs=10

stopwaitsecs = 600

priority=15

2.5 创建日志文件目录

mkdir -p /var/log/supervisor

mkdir -p /var/log/supervisord

2.6 创建service文件

创建

/etc/systemd/system/supervisord.service文件

此文件用于在centos中通过服务器supervisord,需要赋予777权限

vim /etc/systemd/system/supervisord.service

chmod 777 supervisord.service

三，Supervisord使用

3.1 启动Supervisord

运行systemctl start supervisord，启动supervisor，之后celery会自动启动

3.2 命令查看celery运行状态

运行supervisorctl status查看可发现celery成功运行

3.3 woker启动进程数和服务器cpu核数相关

查看逻辑核数：

cat /proc/cpuinfo| grep "processor"| wc -l

（三）flower安装部署和使用

一，简介

Flower是基于web的监控和管理Celery的工具。也是基于python实现的，用flower的前提是flower所在服务器能和任务队列所在服务器连通。

最牛逼的是起了flower后，你可以选择通过API调用方式来对任务和worker进行管理，而不用flower自带的web界面，等于是你可以自己开发个web界面来调flower的接口。

二、Flower安装和使用

2.1 Flower安装

pip3 install flower

2.2 Flower启动

方式一：

cd /tmp/pycharm_project_146

flower -A app --port=5555 --address=0.0.0.0 --persistent=True，-A指定项目名，port指定web端监听端口，address指定地址，persistent为true指定flower在本地保存当前状态。

方式二：

cd /tmp/pycharm_project_146

celery flower -A app --port=5555 --address=0.0.0.0 --persistent=True

方式三：

使用带认证

celery flower -A app --port=5555 --address=0.0.0.0 --persistent=True --basic_auth=root:123456

2.3 界面访问

浏览器访问

http://192.168.12.150:5555/dashboard

flower作为web页面来管理celery后台任务，和任务队列是隔离的，也就是flower的运行与否并不会影响到任务队列的真正执行，但是flower中也可以通过API接口来管理celery中的任务执行。