当前位置：首页 > article >正文

在使用 RabbitMQ 作为消息代理时，多个 Celery 实例（或应用）可以共享同一个 RabbitMQ 实例

article 2024/10/22 5:46:36

在这里插入图片描述
在使用 RabbitMQ 作为消息代理时，多个 Celery 实例（或应用）可以共享同一个 RabbitMQ 实例。这样做可以简化基础设施管理，同时允许不同的 Celery 应用之间进行消息传递和协作。下面是如何配置多个 Celery 实例以使用同一个 RabbitMQ 实例的步骤：

1. 安装依赖

确保你的 Python 环境中安装了 Celery 和 pika（RabbitMQ 的 Python 客户端库，虽然 Celery 内部使用，但你可能需要单独安装 RabbitMQ 服务器）。

pip install celery pika

2. 配置 RabbitMQ

确保 RabbitMQ 服务器正在运行。你可以通过以下命令在本地启动 RabbitMQ（假设你已经安装了 RabbitMQ 服务器）：

sudo systemctl start rabbitmq-server

3. 配置 Celery 实例

每个 Celery 实例都需要一个配置文件或配置代码块。这里以 Python 配置为例。

Celery 实例 A 的配置

# celery_config_a.py

from celery import Celery

app = Celery('app_a', broker='amqp://guest:guest@localhost:5672//')

app.conf.update(
    result_backend='rpc://',  # 或者使用其他后端，如 Redis 或 RabbitMQ
    task_routes={
        'app_a.tasks.*': {'queue': 'app_a_queue'},
    },
)

Celery 实例 B 的配置

# celery_config_b.py

from celery import Celery

app = Celery('app_b', broker='amqp://guest:guest@localhost:5672//')

app.conf.update(
    result_backend='rpc://',  # 或者使用其他后端，如 Redis 或 RabbitMQ
    task_routes={
        'app_b.tasks.*': {'queue': 'app_b_queue'},
    },
)

4. 定义任务

为每个 Celery 实例定义任务。

Celery 实例 A 的任务

# app_a/tasks.py

from celery_config_a import app

@app.task
def add(x, y):
    return x + y

Celery 实例 B 的任务

# app_b/tasks.py

from celery_config_b import app

@app.task
def multiply(x, y):
    return x * y

5. 启动 Celery Worker

为每个 Celery 实例启动单独的 worker。

# 启动 Celery 实例 A 的 worker
celery -A celery_config_a worker --loglevel=info

# 启动 Celery 实例 B 的 worker
celery -A celery_config_b worker --loglevel=info

6. 发送任务

你可以从任何 Celery 实例或其他 Python 脚本中发送任务。

# 发送 Celery 实例 A 的任务
from app_a.tasks import add

result = add.delay(4, 6)
print(result.get())  # 输出 10

# 发送 Celery 实例 B 的任务
from app_b.tasks import multiply

result = multiply.delay(4, 6)
print(result.get())  # 输出 24