本文介绍如何基于多个键（如 mandant、fachabteilung、fachexpertise）对 dataframe 中缺失的 leistungsgruppe 字段进行高效、可复现的随机填充，确保每组最多使用 map 表中 3 个不同样本，且严格满足分组匹配条件。
本文介绍如何基于多个键（如 mandant、fachabteilung、fachexpertise）对 dataframe 中缺失的 leistungsgruppe 字段进行高效、可复现的随机填充，确保每组最多使用 map 表中 3 个不同样本，且严格满足分组匹配条件。
在实际数据清洗与增强任务中，常需用外部映射表（如 MAP）填充主表（如 df）中的缺失分类字段。本教程聚焦一个典型场景：按多列分组匹配后，从映射表中为每个空缺位置随机选取不重复样本，且每组最多取 3 个不同值。核心挑战在于避免逐行循环（iterrows 效率低、易出错），转而采用向量化、分组聚合与智能合并策略。
✅ 推荐方案：groupby.sample() + 有序合并（推荐用于确定性填充）
该方法确保每组在 MAP 中最多采样 3 条记录，并按 df 中缺失值出现顺序一一对应填充（即第一个 NA 填第一个样本，第二个 NA 填第二个样本……循环复用时自动回绕）：
import pandas as pd
import numpy as np
# 定义分组键与目标列
group_cols = ['MANDANT', 'Fachabteilung', 'FACHEXPERTISE']
target_col = 'Leistungsgruppe'
# 步骤1：对 MAP 按 group_cols 分组，每组最多随机采样 3 条（不重复）
sampled_map = MAP.groupby(group_cols)[group_cols + [target_col]].sample(n=3, random_state=42)
# 步骤2：为 df 中每个 NA 生成序号键（按组内 NA 出现顺序编号：0,1,2,...）
na_order = df[target_col].isna()
key_df = df[na_order].groupby(group_cols).cumcount()
# 步骤3：为 sampled_map 添加对应序号键（0,1,2 循环，因每组最多3条）
key_map = sampled_map.groupby(group_cols).cumcount()
# 步骤4：合并并填充（仅对 NA 行操作，保留原有非空值）
fill_series = (
pd.merge(
df[na_order][group_cols].reset_index(),
sampled_map.assign(key=key_map),
left_on=group_cols + [key_df.reset_index(drop=True)],
right_on=group_cols + ['key'],
how='left'
).set_index('index')[target_col]
)
# 步骤5：原地填充
df.loc[na_order, target_col] = fill_series⚠️ 注意事项：
random_state=42保证结果可复现；生产环境可移除以获得真正随机性；- 若某组在
MAP中不足 3 条，则sample(n=3)自动返回全部可用项（不会报错）；- 合并逻辑依赖
cumcount()生成的顺序键，确保填充顺序与df中 NA 的原始位置严格一致。
? 替代方案：groupby.transform() + np.random.choice（适合动态随机填充）
当需要每次运行都产生不同随机组合（如蒙特卡洛模拟），或缺失数量远超 3 时，推荐此函数式方案：
# 预聚合：每组提取所有可用 Leistungsgruppe 值（去重可选）
pool = MAP.groupby(group_cols)[target_col].apply(list)
def fill_with_random_choice(series):
name = series.name # 获取当前分组键元组
if name not in pool or not pool[name]:
return series # 无匹配则跳过
choices = pool[name]
# 对当前组内每个 NA 位随机选择（可重复）
mask = series.isna()
n_na = mask.sum()
if n_na == 0:
return series
sampled = np.random.choice(choices, size=n_na, replace=True)
result = series.copy()
result[mask] = sampled
return result
# 应用到目标列
df[target_col] = df.groupby(group_cols)[target_col].transform(fill_with_random_choice)? 提示：若要求「不重复」填充（即同一组内多个 NA 不得填入相同
Leistungsgruppe），将replace=False并确保len(choices) >= n_na，否则会抛出ValueError。
? 总结
- 首选向量化合并法：性能高、逻辑清晰、顺序可控，适用于大多数 ETL 场景；
-
慎用
iterrows：面对万级数据时性能下降明显，且难以保证分组一致性； -
关键原则：始终先
groupby再操作，利用sample()、cumcount()、merge()等内置方法替代手写循环； -
验证建议：填充后执行
df[target_col].isna().sum()确认无残留缺失，并抽样检查分组匹配准确性。
通过以上任一方法，你均可稳健实现“按条件从子集随机抽取不重复样本填充缺失值”这一高频需求，兼顾效率、可读性与工程可靠性。
