不能靠Airflow自身同步数据,它只负责调度;真正同步需Operator或自定义逻辑完成,且SQL到MongoDB的schema映射、类型转换、写入幂等性三点最易出错。

直接结论:不能靠 Airflow 自身“同步”数据,它只负责调度和编排;真正同步必须由具体 Operator 或自定义逻辑完成,且 SQL 到 MongoDB 的 schema 映射、类型转换、写入幂等性这三点最容易出错。
SQL 数据源怎么在 Airflow 里可靠读取
Airflow 本身不连数据库,得靠 SqlOperator 或 PostgresOperator(MySQL 用 MySqlOperator)执行查询。但注意:这些 Operator 默认只返回前 100 行,且不自动处理大结果集。
- 如果要全量拉取,必须显式设置
return_value=False,并改用PythonOperator+hook.get_conn()手动分页或流式读取 - 避免在
SqlOperator的sql参数里拼接变量,容易 SQL 注入;应使用 Jinja 模板变量(如{{ ds }})或parameters字典传参 - 对高并发 OLTP 库,加
read_timeout=30和连接池配置(通过 hook 的conn对象设置),防止任务卡死
MongoDB 写入必须自己控制文档结构
MongoOperator 并不存在于 Airflow 官方内置库中,社区版也没有通用、健壮的 MongoDB 写入 Operator。你得自己写逻辑,或用 PythonOperator 调用 pymongo。
- SQL 的
NULL、TIMESTAMP、DECIMAL到 MongoDB 的null、ISODate、Decimal128必须手动转换,否则写入失败或类型丢失 - 不要直接
collection.insert_many(rows)—— 缺少唯一键时会重复插入;推荐用replace_one(..., upsert=True)或update_many(..., upsert=True)实现幂等 - 写入前务必检查目标 collection 是否有对应索引,尤其用于 upsert 的字段;否则批量写入性能会断崖下跌
为什么不能跳过中间存储直接“管道式”同步
有人想用 PythonOperator 把 fetchall() 结果直接 insert_many(),这在小表可行,但超过 10 万行就大概率 OOM 或超时。
- Airflow task instance 默认内存有限(尤其在 Celery/K8s Executor 下),大结果集必须落盘或流式处理
- 更稳妥的做法是:SQL 查询 → 写临时 CSV/Parquet 到对象存储(S3/OSS)→
PythonOperator读文件 → 分批写 MongoDB - 若需实时性,应绕过 Airflow,改用 Debezium + Kafka + 自定义 consumer,Airflow 只负责启停这类服务
最常被忽略的一点:MongoDB 的 write concern 设置。默认 w=1,网络抖动或主节点切换时可能丢数据;生产环境至少设为 w="majority",并在 pymongo.MongoClient 初始化时显式传入 write_concern=WriteConcern(w="majority")。


















