本文介绍使用 itertools.product 与 DataFrame.merge(..., how='cross') 对含缺失分类变量的 DataFrame 进行笛卡尔积式组合扩展，将每条原始记录按预定义取值列表展开为全部可能组合，适用于模拟、补全或实验设计场景。
本文介绍使用 `itertools.product` 与 `dataframe.merge(..., how='cross')` 对含缺失分类变量的 dataframe 进行笛卡尔积式组合扩展，将每条原始记录按预定义取值列表展开为全部可能组合，适用于模拟、补全或实验设计场景。
在数据分析与建模前，常需对部分缺失但具有明确候选值的分类字段（如教育层级、性别、学习时段等）进行穷举式补全，以支持后续的分组分析、模拟推演或机器学习样本增强。Pandas 本身不提供原生的“按列生成组合”方法，但可通过标准库 itertools.product 构造所有可能的取值元组，并结合 Pandas 的交叉连接（cross join）能力，高效实现这一目标。
核心思路：分离 + 笛卡尔积 + 合并
- 提取固定字段：保留 Uni、Region、Profession 等完整列；
- 定义候选值字典：为每个待填充列指定其所有合法取值；
- 生成全组合 DataFrame：用 itertools.product(*values) 生成笛卡尔积，转为 DataFrame 并命名列；
- 执行 cross merge：利用 how='cross' 实现无键全连接——这是 Pandas 1.2.0+ 支持的关键特性，替代了旧版需构造虚拟键的繁琐方式。
以下是完整可运行代码：
import pandas as pd
import numpy as np
from itertools import product
# 原始数据（含 NaN）
sample_data_as_is = pd.DataFrame([
["X1", "Y1", "Z1", np.nan, np.nan, np.nan, np.nan],
["X2", "Y2", "Z2", np.nan, np.nan, np.nan, np.nan]
], columns=["Uni", "Region", "Profession", "Level_Edu", "Financial_Base", "Learning_Time", "GENDER"])
# 定义各缺失列的候选值
value_options = {
"Level_Edu": ["undergrad", "grad", "PhD"],
"Financial_Base": ["personal", "grant"],
"Learning_Time": ["morning", "day", "evening"],
"GENDER": ["Male", "Female"]
}
# 步骤1：提取主键列（非缺失字段）
base_cols = ["Uni", "Region", "Profession"]
base_df = sample_data_as_is[base_cols].copy()
# 步骤2：生成组合表
combinations_df = pd.DataFrame(
product(*value_options.values()),
columns=value_options.keys()
)
# 步骤3：执行交叉连接（cross join）
result = base_df.merge(combinations_df, how="cross")
# 可选：按原始列顺序排列（更符合直觉）
result = result[base_cols + list(value_options.keys())]
print(f"原始记录数: {len(sample_data_as_is)}")
print(f"组合总数: {len(result)} (={len(base_df)} × {len(combinations_df)})")
print(result.head(6))输出验证：
原始记录数: 2 组合总数: 72 (=2 × 36) Uni Region Profession Level_Edu Financial_Base Learning_Time GENDER 0 X1 Y1 Z1 undergrad personal morning Male 1 X1 Y1 Z1 undergrad personal morning Female 2 X1 Y1 Z1 undergrad personal day Male 3 X1 Y1 Z1 undergrad personal day Female 4 X1 Y1 Z1 undergrad personal evening Male 5 X1 Y1 Z1 undergrad personal evening Female
✅ 关键优势：
- 零循环、纯向量化：避免嵌套 for 循环或 apply，性能随数据规模线性扩展；
- 列序可控：通过显式指定 columns= 和最终 reindex，确保输出结构清晰；
- 可扩展性强：新增候选列只需追加到 value_options 字典，逻辑无需修改。
⚠️ 注意事项：
- how='cross' 要求 Pandas ≥ 1.2.0；若版本较低，请改用 merge 配合虚拟键（如 base_df.assign(key=1).merge(combinations_df.assign(key=1), on='key').drop('key', axis=1)）；
- 组合总数为各列选项数乘积（本例：3 × 2 × 3 × 2 = 36），务必评估内存开销——千万级原始记录 × 百级组合易导致 OOM；
- 若仅需随机采样而非全量，可用 combinations_df.sample(n=K, replace=False) 替代全 DataFrame。
掌握此模式后，你可轻松应对问卷补全、A/B 测试因子设计、合成数据生成等典型任务，让缺失分类变量真正“活”起来。
