kombu & celery：如何在Python中舒适地使用消息队列

Kombu 和 Celery 是 Python 中的两个库，它们可分开或结合起来使用，以实现基于分布式消息传递的异步任务队列。

Kombu

Kombu 是一个 Python 消息库，它为多种消息队列提供了抽象和统一的使用方式。它支持 AMQP 协议的消息队列服务，如 RabbitMQ 和 Redis，以及其他一些通过插件实现的传输方式。Kombu 使得开发者可以在不同的消息服务之间轻松切换，而不需要修改应用程序代码。

主要特点：

• 支持多种消息代理（brokers），例如 RabbitMQ, Redis, Amazon SQS 等。
• 提供了简单的 API 来发送和接收消息。
• 可以定义交换器（Exchanges）、队列（Queues）和绑定（Bindings）。

Celery

Celery 是一个异步任务队列/作业队列，基于分布式消息传递。它专注于实时操作，但同时也支持调度。Celery 的主要特点是它简单易用，并且可以与多个消息代理协同工作，其中最常用的是 RabbitMQ 和 Redis。

主要特点：

• 基于分布式消息传递的异步任务队列。
• 可以定时执行任务（任务调度）。
• 支持任务结果持久化，允许跟踪任务状态。
• 提供了监控和管理任务的工具，如 Flower（一个实时监控和Web管理界面）。

Kombu 和 Celery 的关系

Celery 使用 Kombu 作为其消息传输的底层库。在 Celery 中，Kombu 负责处理与消息代理的通信，而 Celery 则负责管理任务、任务队列、工作进程和任务结果等。

使用场景

• 当你需要执行耗时较长的任务，如文件处理、发送电子邮件、调用外部API等，而又不想阻塞用户请求时，可以使用 Celery。
• 如果你有一个Web应用，并且想要在后台执行一些周期性的任务（如数据库清理、日志汇总等），Celery 的定时任务功能会非常有用。

示例代码

from celery import Celery
app = Celery('myapp', broker='amqp://guest@localhost//')
@app.task
def add(x, y):
    return x + y

在上面的例子中，我们创建了一个名为 myapp 的 Celery 应用，并指定了消息代理为 RabbitMQ（默认端口5672，默认用户guest，默认密码guest）。我们还定义了一个简单的任务 add，这个任务将两个数字相加并返回结果。
要运行 Celery 工作进程，你需要在命令行中执行以下命令：

celery -A myapp worker --loglevel=info

这样，Celery 工作进程就会启动，监听并执行队列中的任务。