本教程详细阐述了如何利用pandas库高效地将dataframe中的多列数据聚合成列表，并将其重塑为以特定列值为新列名的宽格式。文章通过链式操作，巧妙结合`assign`创建列表列，随后运用`pivot`函数实现数据透视，最终通过`rename_axis`和`reset_index`优化输出结构，从而避免了繁琐的循环，显著提升数据处理效率和代码可读性。
1. 引言
在数据分析和处理中，我们经常需要对DataFrame的结构进行重塑，以适应不同的分析需求或与其他数据集进行合并。一个常见的场景是，将多列数值数据聚合到一个列表中，然后将DataFrame从“长格式”转换为“宽格式”，即以某一列的唯一值为新的列名。本教程将介绍一种使用Pandas库实现这一复杂重塑任务的优雅且高效的方法。
2. 准备示例数据
首先，我们创建一个示例Pandas DataFrame，它包含id、name、value1、value2、value3和Type等列。我们的目标是将value1、value2、value3这三列的数据聚合为列表，并以name列的唯一值作为新的列名，Type作为新的索引。
import pandas as pd
# 创建示例DataFrame
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7],
'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)原始DataFrame的结构如下：
id name value1 value2 value3 Type 0 1 AAA 1.0 1.5 1.8 NEW 1 2 BBB 2.0 2.3 2.5 NEW 2 3 CCC 3.0 3.6 3.7 NEW
我们期望的输出结构是：
Type AAA BBB CCC 0 NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
3. 核心重塑方法
我们将通过一系列链式操作来实现上述转换：
3.1 聚合多列为列表
首先，我们需要将value1、value2、value3这三列的数据在每一行中聚合成一个列表。Pandas的assign()方法允许我们在DataFrame中创建新列，而apply()方法结合axis=1可以对每行进行操作。
# 步骤1: 聚合'value1'到'value3'列为新的'value'列表列
df_with_list = df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
print("\n添加列表列后的DataFrame:")
print(df_with_list)这一步将生成一个中间DataFrame，其中包含一个名为value的新列，其每个元素都是一个列表：
id name value1 value2 value3 Type value 0 1 AAA 1.0 1.5 1.8 NEW [1.0, 1.5, 1.8] 1 2 BBB 2.0 2.3 2.5 NEW [2.0, 2.3, 2.5] 2 3 CCC 3.0 3.6 3.7 NEW [3.0, 3.6, 3.7]
3.2 使用 pivot 进行数据透视
接下来，我们使用pivot()函数将DataFrame重塑为所需的宽格式。pivot()函数需要三个关键参数：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- index: 用于作为新DataFrame索引的列。
- columns: 用于作为新DataFrame列名的列。
- values: 用于填充新DataFrame单元格的值的列。
在本例中，Type将作为索引，name将作为新的列名，而我们刚刚创建的value列将作为填充单元格的值。
# 步骤2: 使用pivot进行数据透视
pivoted_df = df_with_list.pivot(index='Type', columns='name', values='value')
print("\n透视后的DataFrame (待优化):")
print(pivoted_df)透视后的DataFrame初步结构：
name AAA BBB CCC Type NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
此时，name成为了列索引的名称，Type成为了行索引的名称，这通常不是最终期望的格式。
3.3 优化结果结构
为了使输出更加整洁，我们通常会进行以下两步优化：
- rename_axis(None, axis=1): 移除列索引的名称（即name）。
- reset_index(): 将当前的索引（Type）转换为普通列。
将这些操作链式地添加到pivot之后，即可得到最终的、符合要求的DataFrame。
# 步骤3: 优化结果结构，移除列索引名称并重置索引
final_df = (df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
.pivot(index='Type', columns='name', values='value')
.rename_axis(None, axis=1)
.reset_index())
print("\n最终重塑的DataFrame:")
print(final_df)最终输出：
Type AAA BBB CCC 0 NEW [1.0, 1.5, 1.8] [2.0, 2.3, 2.5] [3.0, 3.6, 3.7]
4. 完整代码示例
以下是实现整个过程的完整Python代码：
import pandas as pd
# 准备示例DataFrame
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7],
'Type': ['NEW', 'NEW', 'NEW']
}
df = pd.DataFrame(data)
# 链式操作实现DataFrame重塑
final_df = (df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
.pivot(index='Type', columns='name', values='value')
.rename_axis(None, axis=1)
.reset_index())
print("原始DataFrame:")
print(df)
print("\n重塑后的DataFrame:")
print(final_df)5. 注意事项
- pivot()的限制: pivot()函数要求index和columns参数的组合必须是唯一的。如果存在重复组合，pivot()会报错。在这种情况下，应考虑使用pivot_table()，它允许指定聚合函数来处理重复值。
- 性能: 对于非常大的DataFrame，apply(list, axis=1)虽然方便，但在某些极端情况下可能不如Numpy操作或更底层的Pandas函数高效。但对于大多数常见场景，这种方法是完全可接受且高效的。
- 列选择: df.loc[:, 'value1':'value3']使用了列名切片，这要求value1、value2、value3在DataFrame中是连续的。如果列不连续，可以使用一个列表来显式指定要聚合的列，例如 df[['value1', 'value2', 'value3']]。
6. 总结
通过结合assign()、apply()和pivot()函数，Pandas提供了一种强大且简洁的方式来处理DataFrame的复杂重塑任务。这种方法不仅避免了低效的循环操作，提高了代码的可读性和执行效率，也展示了Pandas链式操作的灵活性，是数据科学家和分析师在日常工作中处理数据转换的宝贵技巧。掌握这种模式，能够更有效地管理和分析结构复杂的数据。
