利用Python Pandas高效处理宽表数据：长表转换及列名信息提取
在数据分析领域，宽表数据向长表数据的转换是常见需求。本文将结合实际案例，演示如何使用Python的Pandas库实现这一转换，并同时提取嵌套在列名中的步骤信息。
问题描述：
假设您拥有一个包含多个步骤(step)数据的宽表数据框。每个步骤包含多个指标（例如nm_stdedev），这些指标在每个步骤中都存在。列名格式遵循"stepx_指标名"模式，其中x代表步骤编号（例如4、6、8、9）。目标是将此宽表转换为长表，包含"step"列表示步骤编号，以及包含所有指标的列（例如nm_stdedev）。所有步骤的指标列名保持一致。
立即学习“Python免费学习笔记（深入）”；
解决方案：
我们将使用Pandas的melt函数和字符串操作来解决这个问题。 以下代码基于一个示例数据框，假设包含四个步骤和两个指标（nm_stdedev和nm_mean）：
import pandas as pd
data = {'step4_nm_stdedev': [1, 2, 3, 4],
'step4_nm_mean': [5, 6, 7, 8],
'step6_nm_stdedev': [9, 10, 11, 12],
'step6_nm_mean': [13, 14, 15, 16],
'step8_nm_stdedev': [17, 18, 19, 20],
'step8_nm_mean': [21, 22, 23, 24],
'step9_nm_stdedev': [25, 26, 27, 28],
'step9_nm_mean': [29, 30, 31, 32]}
df = pd.DataFrame(data)
# 使用melt函数将宽表转换为长表
df_melted = pd.melt(df, var_name='step_metric', value_name='value')
# 从'step_metric'列中提取步骤和指标信息
df_melted[['Step', 'Metric']] = df_melted['step_metric'].str.split('_', expand=True)
df_melted['Step'] = df_melted['Step'].str.replace('step', '', regex=False).astype(int)
# 显示转换后的长表数据
print(df_melted)
这段代码首先使用melt函数将宽表数据转换为长表，然后利用字符串的split方法将'step_metric'列拆分为'Step'和'Metric'两列。最后，去除'Step'列中的前缀"step"并将其转换为整数类型。 即使指标数量超过两个，此方法仍然有效，前提是所有列名都遵循一致的命名模式。
通过以上步骤，我们成功地将宽表数据转换为长表，并提取了列名中包含的步骤信息，方便后续的数据分析和处理。
