在数据分析和处理中，pandas dataframe的重塑操作是常见的需求。然而，当面临将现有数据列转换为新的类别行，并同时依据另一列的值动态生成新列的复杂场景时，传统的pivot或melt函数可能无法直接满足需求。本教程将详细介绍如何通过巧妙地组合使用pivot、stack和reset_index等pandas函数，实现这种高级的dataframe重塑。
初始数据结构与目标转换
假设我们有一个DataFrame，其结构如下所示：
| Date | Item | A | B |
|---|---|---|---|
| 1 | 1 | a1 | b1 |
| 1 | 2 | a2 | b2 |
| 1 | 3 | a3 | b3 |
我们期望将其重塑为以下结构：
| Date | Letter | Item 1 | Item 2 | Item 3 |
|---|---|---|---|---|
| 1 | A | a1 | a2 | a3 |
| 1 | B | b1 | b2 | b3 |
在这个转换中，原始DataFrame的'A'和'B'列需要转换为一个新的'Letter'列下的行值，而'Item'列的各个值（1, 2, 3）则需要成为新的列标题（Item 1, Item 2, Item 3）。
逐步实现复杂重塑
为了实现上述转换，我们将组合使用pivot、stack和reset_index函数。
首先，我们创建示例数据：
import pandas as pd
import io
data = """Date,Item,A,B
1,1,a1,b1
1,2,a2,b2
1,3,a3,b3"""
df = pd.read_csv(io.StringIO(data))
print("原始DataFrame:")
print(df)输出：
原始DataFrame: Date Item A B 0 1 1 a1 b1 1 1 2 a2 b2 2 1 3 a3 b3
1. 使用 pivot 进行初步重塑
第一步是使用pivot函数将Item列的值转换为新的列。我们将Date作为索引，Item作为新的列，而A和B列则作为值。
pivoted_df = df.pivot(index='Date', columns='Item')
print("\nPivot 后的 DataFrame:")
print(pivoted_df)输出：
Pivot 后的 DataFrame:
A B
Item 1 2 3 1 2 3
Date
1 a1 a2 a3 b1 b2 b3此时，我们得到了一个带有MultiIndex列的DataFrame。顶层索引是原始的列名（'A', 'B'），第二层索引是Item的值（1, 2, 3）。
2. 使用 stack 将列级别转换为行级别
接下来，我们需要将MultiIndex列的第一级（'A'和'B'）转换为一个新的行级别，这正是stack()函数的作用。stack(0)表示将MultiIndex列的第一级（索引为0的级别）转换为新的行索引。
stacked_df = pivoted_df.stack(0)
print("\nStack(0) 后的 DataFrame:")
print(stacked_df)输出：
Stack(0) 后的 DataFrame:
1 2 3
Date
1 A a1 a2 a3
B b1 b2 b3现在，我们看到Date和新的列名（即原始的'A'和'B'，现在是索引的一部分）构成了MultiIndex行。
3. 使用 add_prefix 统一列名
为了满足目标格式中“Item 1”、“Item 2”等列名，我们需要为当前的列名（1, 2, 3）添加前缀。
prefixed_df = stacked_df.add_prefix('Item ')
print("\nAdd_prefix 后的 DataFrame:")
print(prefixed_df)输出：
Add_prefix 后的 DataFrame:
Item 1 Item 2 Item 3
Date
1 A a1 a2 a3
B b1 b2 b34. 使用 reset_index 将索引转换为列
最后一步是将当前的MultiIndex行转换为常规的列。reset_index()函数可以实现这一点。我们可以通过names参数为新生成的列指定名称。
final_df = prefixed_df.reset_index(names=['Date', 'Letter'])
print("\nReset_index 后的最终 DataFrame:")
print(final_df)输出：
Reset_index 后的最终 DataFrame: Date Letter Item 1 Item 2 Item 3 0 1 A a1 a2 a3 1 1 B b1 b2 b3
至此，我们已经成功地将DataFrame重塑为目标格式。
完整代码示例
将上述步骤整合到一起，完整的解决方案代码如下：
import pandas as pd
import io
# 原始数据
data = """Date,Item,A,B
1,1,a1,b1
1,2,a2,b2
1,3,a3,b3"""
df = pd.read_csv(io.StringIO(data))
# 复杂重塑操作
output_df = (df.pivot(columns='Item', index='Date') # 1. 以Item为列，Date为索引进行透视
.stack(0) # 2. 将MultiIndex列的第一级（A, B）转换为行索引
.add_prefix('Item ') # 3. 为新生成的Item列添加前缀
.reset_index(names=['Date', 'Letter']))# 4. 将MultiIndex行转换为常规列，并命名
print("原始DataFrame:")
print(df)
print("\n重塑后的DataFrame:")
print(output_df)注意事项与总结
- 理解MultiIndex： 这种复杂重塑的核心在于对Pandas MultiIndex（多级索引）的理解和操作。pivot通常会生成MultiIndex列，而stack则用于将列级别转换为行级别，反之unstack用于将行级别转换为列级别。
- stack() 的 level 参数： stack(0)中的0表示将MultiIndex列的第一个级别（最外层）转换为行索引。如果有多层MultiIndex列，可以根据需要指定不同的级别。
- 列名冲突： 在执行pivot操作时，如果values参数未指定，Pandas会尝试将所有非index和columns的列作为值进行透视，这可能会导致MultiIndex列的生成。
- 灵活性： 这种组合方法非常灵活，可以适应多种复杂的DataFrame重塑场景，特别是当需要将某些特征列转换为分类标签，并同时根据其他标识符创建动态列时。
通过本教程的学习，您应该能够掌握如何利用Pandas的pivot、stack和reset_index函数，有效地解决DataFrame的复杂重塑问题，从而更好地组织和分析数据。
