分区写入需匹配业务模式，优先选高频过滤字段（如dt、tenant_id）作分区键，避免高基数或低区分度字段；结合动态分区管控、数据聚合、DISTRIBUTE BY打散及INSERT OVERWRITE精准覆盖，并调优存储格式与引擎参数。
分区写入是提升大规模 SQL ETL 任务写入效率的关键手段，核心在于减少单次写入的数据量、避免全表扫描、降低锁竞争和 I/O 压力。实际效果取决于分区设计是否匹配业务写入模式和查询习惯。
按时间或业务维度合理建分区
优先选择高频过滤字段作为分区键，如 dt（日期）、hour、tenant_id 或 region。避免用高基数字段（如 user_id）直接分区，易导致小文件泛滥；也不要用低区分度字段（如 status），起不到裁剪作用。
- 每日增量写入 → 按 dt=‘20240520’ 分区，INSERT OVERWRITE 自动覆盖当天数据
- 多租户场景 → 复合分区如 dt=‘20240520’/tenant_id=‘t123’，隔离写入，减少跨租户干扰
- Hive/Spark SQL 中显式指定分区路径，跳过元数据扫描：INSERT INTO TABLE t PARTITION(dt='20240520') ...
批量写入 + 动态分区控制数量
动态分区虽方便，但未限制时可能生成数百个小分区，拖慢后续读取。需主动约束：
- Spark 中设置：spark.sql.hive.convertMetastoreOrc=true + spark.sql.sources.partitionOverwriteMode=DYNAMIC
- 写入前聚合数据，确保每个目标分区至少有 128MB+ 数据（ORC/Parquet 推荐大小）
- 用 DISTRIBUTE BY dt, tenant_id 提前打散数据，避免单个 task 写入过多分区
避免小文件 + 合理使用 INSERT OVERWRITE
频繁追加写入易产生大量小文件，严重拖累读性能。应尽量用 OVERWRITE 替代 INTO，配合分区精准覆盖：
- 不要对整个大表用 INSERT OVERWRITE TABLE t SELECT ... —— 触发全表重写
- 改为按分区覆盖：INSERT OVERWRITE TABLE t PARTITION(dt) SELECT ..., dt FROM src WHERE dt = '20240520'
- 写入后定期合并小文件：ALTER TABLE t PARTITION(dt='20240520') CONCATENATE（Hive）或用 Spark repartition(1).write.mode("overwrite")
配合底层存储与执行引擎调优
分区只是逻辑优化，还需匹配物理层配置：
- ORC 文件：开启 hive.exec.orc.split.strategy=BI，提升并行切分效率
- Spark 写 ORC/Parquet：设 spark.sql.orc.impl=native 和 spark.sql.parquet.enableVectorizedReader=true
- 调整 shuffle 分区数：spark.sql.adaptive.enabled=true + spark.sql.adaptive.coalescePartitions.enabled=true，自动合并小任务
基本上就这些。分区写入不是加个 PARTITION 就完事，得看数据分布、写入频次、下游怎么查——对得上，效率翻倍；对不上，反而更慢。
