用Celery+Kafka搭建Linux分布式任务调度系统，核心是通过kombu-kafka适配层将Kafka作为可靠broker，配合静态分区绑定、DLQ机制及Prometheus+Grafana端到端监控。
用 Celery + Kafka 搭建 Linux 分布式任务调度系统，核心是把 Kafka 当作可靠的消息中间件替代 RabbitMQ 或 Redis，让 Celery Worker 从 Kafka 主题消费任务，同时配合 Prometheus + Grafana 实现端到端监控。这不是简单替换 broker，而需适配序列化、分区策略、错误重试和消费者偏移管理。
Kafka 作为 Celery Broker 的关键配置
Celery 原生不支持 Kafka，需借助 celery-kafka 或自定义 transport（推荐使用 kombu-kafka）。在 Linux 服务器上部署前，先确认 Kafka 集群已启用自动创建 topic（auto.create.topics.enable=true）并分配足够副本数（建议 replication.factor=3）。
- 安装适配层：
pip install kombu-kafka（兼容 Celery 5.x），避免用已停止维护的 celery-kafka - Broker URL 格式为：
kafka://kafka1:9092,kafka2:9092,kafka3:9092//tasks，末尾//tasks表示默认 topic 名 - 禁用 Celery 的内置序列化自动检测（易出错），显式指定：
task_serializer = 'json'，result_serializer = 'json' - Kafka producer 需设置
acks=all和retries=5，保障任务消息不丢失
Worker 启动与负载均衡策略
在多台 Linux 节点运行 Celery Worker 时，不能依赖 Kafka 默认的 consumer group 负载均衡——因为 Celery 任务必须严格按 topic-partition 顺序执行（尤其涉及状态流转时）。实际部署中采用“静态分区绑定”更可控。
- 每个 Worker 启动时指定固定 partition：用环境变量控制，如
CUSTOM_PARTITION=0，代码中通过KafkaConsumer.assign([TopicPartition('tasks', 0)])手动分配 - 用 systemd 管理 Worker 进程，每个实例对应一个 partition，便于日志隔离与资源限制（
MemoryLimit=2G） - 禁用
worker_prefetch_multiplier=1，防止单个慢任务阻塞整个 partition 消费 - 定期检查 consumer lag：
kafka-consumer-groups.sh --bootstrap-server ... --group celery-group --describe
任务失败处理与死信机制
Kafka 本身无死信队列（DLQ）概念，需在应用层补全。Celery 的 autoretry_for 和 max_retries 仅适用于瞬时异常；对 Kafka 不可达、反序列化失败等硬错误，必须落地到独立 DLQ topic。
- 定义专用 DLQ topic：
celery_tasks_dlq，保留时间设为 7 天（retention.ms=604800000） - 在 task 的
on_failure回调中，手动将原始消息（含 headers、value、topic、partition、offset）发往 DLQ - 部署单独的 DLQ 消费脚本（Python + kafka-python），支持人工重放或标记跳过，避免无限循环
- 所有任务入口加 try/except，捕获
kafka.errors.KafkaError并记录 offset，防止重复消费
Prometheus 监控集成要点
官方 Celery exporter 对 Kafka backend 支持弱，推荐用 celery-exporter（v1.3+）配合 Kafka JMX 指标，构建统一视图。
- 启动 exporter 时启用 Kafka 模式：
--kafka-broker=kafka1:9092，它会自动采集 consumer group lag - Kafka 自身暴露 JMX：
-Dcom.sun.management.jmxremote.port=9999，用 jmx_exporter 抓取kafka.consumer:type=consumer-fetch-manager-metrics - Grafana 看板重点字段：每秒任务完成数（
celery_worker_tasks_succeeded_total）、平均延迟（celery_task_runtime_seconds）、partition lag（kafka_consumer_group_lag） - 设置告警规则：当某 partition lag > 1000 且持续 2 分钟，触发 PagerDuty 通知运维介入
