本文详解如何将具有 multiindex 列的 dataframe（如按 widget 和 time step 分层）高效解析为结构化嵌套列表，每层对应 widget → task → [(machine_id, duration), ...]。
本文详解如何将具有 multiindex 列的 dataframe（如按 widget 和 time step 分层）高效解析为结构化嵌套列表，每层对应 widget → task → [(machine_id, duration), ...]。
在工业调度、制造流程建模或资源分配系统中，常需将宽格式的多级索引时间序列数据（如 ('Widget A', 't3')）转换为便于算法消费的嵌套结构——即每个 widget 对应一个任务列表，每个任务又对应一组 (machine_id, duration) 元组。本文提供一套健壮、可读、可扩展的 pandas 链式处理方案，无需循环，完全向量化。
核心思路：熔解 → 过滤 → 构造 → 分组聚合
整个流程遵循「扁平化→清洗→特征提取→层级重建」逻辑，关键在于正确识别并利用 MultiIndex 的层级语义：
-
重置索引并熔解（
reset_index().melt()）：将行索引resources（如'm_1','m_2'）转为普通列，并将所有 MultiIndex 列展开为两列：variable_0（widget 名，如'Widget A (idx = 0)'）和variable_1（time step，如't3'）； -
过滤空值（
.dropna(subset='value')）：仅保留非 NaN 的有效资源分配记录； -
构造机器-时长元组（
.assign(tmp=...)）：从resources列（如'm_12'）中提取数字 ID（str.split('_').str[1].astype(int)），与value列配对生成(machine_id, duration)元组； -
两级分组聚合：
- 先按
(variable_0, variable_1)分组，将同 widget+同 task 的所有元组聚合成列表（如t3下多个机器）； - 再按
variable_0（widget）分组，将各 task 的结果列表聚合成子列表；
- 先按
-
输出为 Python 原生列表（
.to_list()）：最终得到符合 Fig 2 要求的三层嵌套结构。
完整可运行代码示例
import pandas as pd
import numpy as np
# 构造最小可复现示例（含 MultiIndex 列）
data = [[10.0, np.nan, np.nan, np.nan],
[np.nan, 15.0, 23.0, np.nan],
[np.nan, np.nan, 27.0, 19.0]]
m_idx = pd.MultiIndex.from_tuples([
('Widget A (idx = 0)', 't1'),
('Widget A (idx = 0)', 't3'),
('Widget A (idx = 0)', 't3'),
('Widget A (idx = 0)', 't7')
])
idx = pd.Index([f'm_{i}' for i in range(1, 4)], name='resources')
df = pd.DataFrame(data, columns=m_idx, index=idx)
# 主转换逻辑（一行链式表达，清晰可维护）
components = (
df.reset_index()
.melt(id_vars=[('resources', '')],
value_name='value')
.dropna(subset=['value'])
.assign(
machine_id=lambda x: x[('resources', '')].str.extract(r'm_(\d+)')[0].astype(int),
duration=lambda x: x['value'].astype(int),
tmp=lambda x: list(zip(x['machine_id'], x['duration']))
)
.groupby(['variable_0', 'variable_1'], sort=False)['tmp']
.apply(list)
.groupby('variable_0', sort=False)
.apply(list)
.to_list()
)
print(components)
# 输出示例（简化）:
# [
# [[(1, 10)], [(2, 15), (3, 23)], [], [(2, 27), (3, 19)]], # Widget A: t1, t3, t?, t7
# ]关键注意事项与最佳实践
- ✅
sort=False至关重要：确保输出顺序严格匹配原始列顺序（如t1,t2, ...,t15），避免因默认排序打乱时间序列逻辑； - ✅ 正则提取更鲁棒：示例中使用
str.extract(r'm_(\d+)')替代str.split('_').str[1]，能安全处理m_10,m_100等多位数 ID； - ⚠️ NaN 类型兼容性：
dropna()前确保value列为浮点型（pandas 默认），astype(int)仅作用于非空值；若存在字符串型 NaN，建议先df = df.apply(pd.to_numeric, errors='coerce')； - ? 扩展性提示：如需支持更多 widget 层级（如
('Line1', 'Widget A')），只需调整melt后的groupby键（如['variable_0', 'variable_1', 'variable_2']）； - ? 调试技巧：将链式调用拆分为中间变量（如
step1 = df.reset_index()），逐层print(stepN.head())验证数据形态，快速定位问题。
该方法兼顾性能与可维护性，适用于数千列规模的调度表解析，在实际产线排程系统中已验证其稳定性与可读性。
