本教程详细介绍了如何使用pandas高效地将dataframe中的多列数据合并成一个新的列表值列。通过利用`iloc`进行列选择和`apply(list, axis=1)`函数，可以避免传统循环的性能瓶颈，快速实现数据结构的转换，为后续的数据分析或与其他dataframe的合并操作提供便利。
引言
在数据处理和分析中，我们经常会遇到需要将DataFrame中代表同一实体不同属性的多个列值整合到一个列表中的场景。例如，一个用户在不同时间点的多个评分、一个产品在不同维度上的特征值，或者一个事件的多个测量结果。将这些分散的列数据转换为单一的列表形式，不仅能简化数据结构，方便后续的序列操作，也为与其他数据源进行合并或构建更复杂的数据模型提供了便利。本文将详细介绍一种使用Pandas库高效、简洁地实现这一数据转换的方法，避免了传统循环带来的性能开销。
原始数据结构
假设我们有一个典型的Pandas DataFrame，其中包含一个唯一标识符id、一个名称name以及多个数值列，例如value1、value2和value3。这些数值列代表了同一实体（由id和name标识）的不同属性值。
import pandas as pd
# 原始DataFrame数据
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)输出的原始DataFrame如下所示：
id name value1 value2 value3 0 1 AAA 1.0 1.5 1.8 1 2 BBB 2.0 2.3 2.5 2 3 CCC 3.0 3.6 3.7
目标数据结构
我们的目标是将value1、value2、value3这三列的数据，在每一行中合并成一个列表，并将这个列表存储在一个新的名为value的列中。同时，我们希望保留原始DataFrame中的标识列，即id和name。
期望的输出DataFrame结构如下：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
id name value 0 1 AAA [1.0, 1.5, 1.8] 1 2 BBB [2.0, 2.3, 2.5] 2 3 CCC [3.0, 3.6, 3.7]
核心转换方法：使用 iloc 和 apply
Pandas库提供了强大的向量化操作，能够高效地处理DataFrame，避免了使用低效的Python循环。实现上述数据转换的关键在于结合使用DataFrame.iloc进行精确的列选择，以及DataFrame.apply()方法配合axis=1（按行应用）。
整个转换过程可以分解为以下几个步骤：
选择需要合并的数值列： 我们使用df.iloc[:, 2:]来选择从第三列（索引为2）开始的所有列。在我们的示例中，这精确地对应了value1、value2和value3。iloc是基于整数位置的索引，非常适合批量选择连续的列。
将每行的选定列值转换为列表： 对第一步中选定的子DataFrame (df.iloc[:, 2:]) 调用apply(list, axis=1)。apply()方法会将每一行的数据作为一个整体传递给指定的函数。在这里，list()函数将该行的所有值打包成一个Python列表。axis=1参数至关重要，它指示apply操作是按行进行的，而不是按列。
为新生成的Series命名： apply操作会返回一个Pandas Series，其中每个元素都是一个列表。为了方便后续与原始标识列进行合并，我们使用.rename('value')方法将其命名为value，这与我们目标列的名称一致。
与标识列进行合并： 最后，使用pd.concat()函数将原始DataFrame中的标识列（df.iloc[:, :2]，即id和name）与新生成的value Series按列（axis=1）进行合并。pd.concat()是Pandas中用于连接DataFrame或Series的强大工具。
完整示例代码
下面是实现上述转换的完整Python代码：
import pandas as pd
# 原始DataFrame数据
data = {
'id': [1, 2, 3],
'name': ['AAA', 'BBB', 'CCC'],
'value1': [1.0, 2.0, 3.0],
'value2': [1.5, 2.3, 3.6],
'value3': [1.8, 2.5, 3.7]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
# 核心转换逻辑
# 1. 选取标识列 (id, name)。iloc[:, :2] 选择从第0列到第1列（不包括第2列）
identifier_cols = df.iloc[:, :2]
# 2. 选取需要合并的数值列 (value1, value2, value3)。iloc[:, 2:] 选择从第2列到最后一列
# 并按行转换为列表，然后将新Series命名为'value'
value_list_series = df.iloc[:, 2:].apply(list, axis=1).rename('value')
# 3. 将标识列和新的列表列按列 (axis=1) 合并
transformed_df = pd.concat([identifier_cols, value_list_series], axis=1)
print("\n转换后的DataFrame:")
print(transformed_df)输出结果
执行上述代码后，我们将得到以下转换后的DataFrame：
转换后的DataFrame: id name value 0 1 AAA [1.0, 1.5, 1.8] 1 2 BBB [2.0, 2.3, 2.5] 2 3 CCC [3.0, 3.6, 3.7]
注意事项与扩展
-
列选择的灵活性:
- 如果需要合并的列不是连续的，或者列名是已知且不连续的，可以使用列名列表进行选择，例如 df[['value1', 'value3', 'value5']]。
- 或者使用 df.loc[:, ['value1', 'value2', 'value3']] 来精确指定列。
- 处理非数值数据: 尽管本例中是数值数据，apply(list, axis=1)同样适用于混合数据类型。它会直接将行中的所有值按照其原始类型打包成列表。
- 性能考量: 相比于显式地迭代DataFrame的行（例如使用df.iterrows()），apply(..., axis=1)在底层通常会利用Pandas的C语言优化，因此对于大型DataFrame，这种方法远比纯Python循环高效。
- 移除不需要的列: 如果最终只需要name和value列，而id列不再需要，可以在转换完成后使用transformed_df.drop('id', axis=1)来删除它，或者直接通过选择需要的列来创建最终DataFrame，例如 final_df = transformed_df[['name', 'value']]。
- 数据类型一致性: 确保要合并的列数据类型兼容，或者在合并前进行适当的类型转换，以避免列表内部数据类型混乱。
总结
通过结合iloc的精确列选择和apply(list, axis=1)的行级列表化能力，Pandas提供了一种优雅且高效的方式来将DataFrame中的多列数据聚合为一个列表值列。这种转换不仅简化了数据结构，也为后续的数据分析、数据集成以及更复杂的特征工程任务奠定了坚实的基础，同时避免了传统循环带来的性能开销，是Pandas数据处理中一项非常实用的技巧。
