本文介绍如何使用pandas将两个按州和日期区间（start_date/end_date）划分的数据集进行精细化合并，自动拆分重叠与非重叠时段，并为每个最小时间单元（天）匹配对应字段，最终聚合为连续、无冗余的区间结果。
在实际数据分析中，常需融合多个按时间区间标记的业务表（如政策生效期、服务覆盖期、区域运营周期等），而这些区间往往存在部分重叠、错位或跨州差异。直接使用pd.merge基于端点匹配会丢失中间重叠逻辑；正确做法是以“日粒度”展开区间 → 外连接对齐 → 按状态组合聚合回最优区间。下面分三步详解实现过程。
✅ 第一步：标准化日期并展开为日粒度序列
首先确保日期格式统一（注意原始数据中 31/05/2021 是无效格式，应修正为 05/31/2021）。我们定义通用函数 expand_dates_df，将每行的 [START_DATE, END_DATE] 区间展开为每日一行的长格式 DataFrame：
import pandas as pd
def expand_dates_df(
df,
date_format="%m/%d/%Y",
start_date_col="START_DATE",
end_date_col="END_DATE",
data_col_name="data_val"
):
# 强制转为 datetime，避免解析歧义
df = df.copy()
df[start_date_col] = pd.to_datetime(df[start_date_col], format=date_format)
df[end_date_col] = pd.to_datetime(df[end_date_col], format=date_format)
expanded_rows = []
for _, row in df.iterrows():
# 生成包含首尾的日序列（inclusive）
dates = pd.date_range(start=row[start_date_col], end=row[end_date_col], freq="D")
for d in dates:
expanded_rows.append({
"STATE": row["STATE"],
"Date": d,
data_col_name: row[data_col_name]
})
return pd.DataFrame(expanded_rows)
# 应用展开（注意 ops 中日期已修正）
expanded_dds = expand_dates_df(dds, data_col_name="data_val")
expanded_ops = expand_dates_df(ops, data_col_name="data_val2")⚠️ 注意事项： pd.date_range(..., freq="D") 默认包含起止日，无需额外 + pd.Timedelta(days=1)； 若数据量极大（如十年+百万级区间），逐行循环效率较低，可改用 pd.concat + pd.date_range 向量化构造（进阶优化见文末提示）。
✅ 第二步：外连接对齐所有日期-州组合
使用 how='outer' 进行全外连接，确保：
- dds 有但 ops 没有的日期 → data_val2 为 NaN
- ops 有但 dds 没有的日期 → data_val 为 NaN
- 两者共有的日期 → 字段同时保留
joined_df = expanded_dds.merge(
expanded_ops,
how='outer',
on=['STATE', 'Date']
)此时 joined_df 每行代表某州在某一天的完整视图（含可能缺失值）。
✅ 第三步：按状态组合聚合为最小区间
核心逻辑：相同 STATE + 相同 data_val + 相同 data_val2 的连续日期，应合并为单个 [min(Date), max(Date)] 区间。由于日期已离散化，只需按三字段分组，取 Date 的极值即可：
result = (joined_df
.fillna({'data_val': 'None', 'data_val2': 'None'}) # 统一空值标识（可选）
.groupby(['STATE', 'data_val', 'data_val2'], dropna=False)
.agg(START_DATE=('Date', 'min'),
END_DATE=('Date', 'max'))
.reset_index()
.sort_values(['STATE', 'START_DATE'])
.assign(
START_DATE=lambda x: x['START_DATE'].dt.strftime('%m/%d/%Y'),
END_DATE=lambda x: x['END_DATE'].dt.strftime('%m/%d/%Y')
)
)✅ 输出即为题目所求结构（STATE, START_DATE, END_DATE, data_val, data_val2），且区间严格互斥、无缝覆盖全时间轴。
? 补充说明与优化建议
- 性能提示：对超大区间（如10年×1000州），逐日展开可能导致内存爆炸。此时推荐使用「区间树」（intervaltree）或 piso 库进行高效区间交集计算，避免显式展开。
- 边界处理：本方案默认区间闭合（含首尾日）。若业务要求左闭右开（如 2021-04-01 至 2021-04-30 不含30日），需在 pd.date_range 中设置 inclusive='left' 并调整 END_DATE 计算逻辑。
- 扩展性：该模式可轻松支持 ≥3 个 DataFrame 合并——只需依次 merge(..., how='outer') 即可。
通过这一流程，你不仅能解决当前重叠日期合并问题，更掌握了处理任意“区间-属性”映射类任务的标准范式。
