Celery + Django 能可靠解耦耗时任务,但必须确保 celery 实例与 Django 配置正确绑定,否则任务会静默失败或报 AppRegistryNotReady;根本原因是 worker 进程未显式调用 django.setup() 初始化 ORM,导致 models 不可用,须在 celery.py 中先设 DJANGO_SETTINGS_MODULE 再调用 django.setup(),且所有 model 操作必须在 task 函数体内执行。

直接上结论:Celery + Django 能可靠解耦耗时任务,但必须确保 celery 实例与 Django 配置正确绑定,否则任务会静默失败或报 AppRegistryNotReady。
为什么 Django 启动后 Celery worker 找不到 models?
这是最常卡住的点:Django 的 ORM 依赖应用注册系统,而 Celery worker 默认不加载 Django 环境。worker 进程启动时若未显式初始化 Django,models 就不可用,调用 MyModel.objects.create() 会直接抛 AppRegistryNotReady: Apps aren't loaded yet.。
解决方式只有一条路径:
- 在
celery.py中手动调用django.setup()(Django ≥ 1.7) - 确保
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')在setup()前已设置 - worker 启动命令必须指向该
celery.py文件,不能直接运行celery -A proj worker却漏掉初始化逻辑
典型 proj/celery.py 结构:
立即学习“Python免费学习笔记(深入)”;
import os
from celery import Celery
<p>os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')</p><p>import django
django.setup() # ← 这行不能少,且必须在 setup() 后再导入 models</p><p>from django.conf import settings</p><p>app = Celery('myproject')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()
如何让 task 正确访问数据库并避免连接泄漏?
Celery worker 是长进程,Django 默认的数据库连接不会自动关闭;若 task 中执行了查询但没显式关闭连接,在高并发下可能耗尽连接池,表现为 OperationalError: too many clients already。
安全做法是:
- 每个 task 执行完后主动调用
from django.db import connection; connection.close() - 更推荐用
@task(bind=True)+self.retry()重试机制替代手动连接管理,因为connection在每次 task 执行时默认是新上下文 - 确认
CELERY_TASK_ALWAYS_EAGER=False(开发时可设为True测试逻辑,但务必关掉再上线)
示例 task:
@shared_task(bind=True, autoretry_for=(Exception,), retry_kwargs={'max_retries': 3})
def send_notification(self, user_id):
from myapp.models import User
try:
user = User.objects.get(id=user_id)
# ... 发送逻辑
except User.DoesNotExist:
raise self.retry(countdown=60)
为什么本地调试时 task 看似执行了,但数据库没变化?
常见于用了 transaction.atomic() 但没意识到 Celery task 默认不在 Django 请求事务中运行——它跑在独立进程里,事务边界不继承。
后果是:
- task 内部写数据库成功,但没 commit(尤其用了
atomic且发生异常回滚) - 或更隐蔽:Django 的
on_commit()回调根本不会触发,因为 task 不在 request-response 生命周期内 - 检查方法:在 task 开头加
print(connection.is_usable())和print(connection.get_autocommit())
应对策略:
- 避免在 task 中嵌套
transaction.on_commit() - 如需强一致性,改用
transaction.atomic()包裹整个 task 函数体,并捕获异常做显式 rollback 处理 - 使用
CELERY_TASK_SERIALIZER = 'json'(而非pickle),防止模型实例跨进程序列化失败
怎么验证 broker 和 result backend 是否真正连通?
很多问题表面是 task 不执行,实际是 Redis/RabbitMQ 地址错、权限不对、或 result backend(如 django-db)没装好导致 silent fail。
快速验证步骤:
- 运行
celery -A myproject.celery inspect ping,看是否返回pong - 在 Django shell 中执行
from myapp.tasks import my_task; res = my_task.delay(); print(res.get(timeout=5)),超时即说明 result backend 断开 - 检查
CELERY_BROKER_URL和CELERY_RESULT_BACKEND是否匹配部署环境(例如本地用redis://127.0.0.1:6379/0,生产用带密码的 URL)
特别注意:CELERY_RESULT_BACKEND = 'django-db' 需要提前运行 python manage.py migrate django_celery_results,否则 task 状态永远是 PENDING。
真正麻烦的从来不是写一个 @shared_task,而是 worker 进程的生命周期、Django 应用状态、数据库连接作用域这三者的交叠——任何一处初始化顺序错位,都会让任务“看起来在跑”,实则卡在中间某层不动声色。


















