讲师中心 微信公众号
AI工具推荐 视频效率加速

使用Pandas DataFrame高效执行多列算术运算

小明酱_1677

小明酱_1677

发布时间:2025-11-23 11:26:02

|

195人浏览过

|

来源于php中文网

原创

使用pandas dataframe高效执行多列算术运算

本文旨在探讨在Pandas DataFrame中对多列进行加减法运算的两种高效方法。我们将介绍如何利用`DataFrame.eval()`进行多行表达式计算,以及如何通过链式调用`add()`和`sub()`方法实现向量化操作。通过具体示例,读者将掌握在Python环境中简洁、高效地处理DataFrame列间复杂算术逻辑的技巧,从而提升数据处理效率和代码可读性。

在数据分析和处理中,我们经常需要对Pandas DataFrame中的多个列执行一系列算术运算。当这些运算模式相似且涉及多个目标列时,寻找一种简洁高效的方法至关重要。本教程将详细介绍两种实现这一目标的策略:使用DataFrame.eval()进行多行表达式求值,以及利用Pandas的向量化方法add()和sub()。

1. 数据准备

首先,我们创建一个示例DataFrame,作为后续操作的基础。

import pandas as pd

data = {
  "A": [42, 38, 39, 23],
  "B": [45, 30, 15, 65],
  "C": [60, 50, 25, 43],
  "D": [12, 70, 35, 76],
  "E": [87, 90, 45, 43],
  "F": [40, 48, 55, 76],
  "G": [58, 42, 85, 10],
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

我们的目标是针对列 C, D, E,执行相同的运算逻辑:目标列 = 目标列 - B + A。

2. 方法一:使用 DataFrame.eval() 进行多行表达式求值

DataFrame.eval() 方法允许用户以字符串形式传递表达式,Pandas 会在 DataFrame 的上下文中对这些表达式进行求值。对于需要对多个列执行相同或相似操作的场景,eval() 特别有用,因为它支持多行表达式,从而提高了代码的清晰度。

df_eval = df.copy() # 创建副本,避免修改原始df
df_eval = df_eval.eval('''
C = C - B + A
D = D - B + A
E = E - B + A
''')

print("\n使用 eval() 后的DataFrame:")
print(df_eval)

优点:

  • 可读性强: 表达式直接反映了数学逻辑,易于理解。
  • 简洁: 可以在一个方法调用中处理多个列的更新。
  • 性能: 对于大型DataFrame,eval() 通常比纯Python循环更快,因为它在C层级进行优化。

注意事项:

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载
  • 表达式字符串需要严格遵循Python语法,且只能引用DataFrame中的列名。
  • eval() 默认会修改DataFrame的副本并返回,如果需要原地修改,可以考虑inplace=True参数(但通常不推荐,因为会使链式操作复杂化)。

3. 方法二:使用向量化操作 add() 和 sub()

Pandas 提供了高度优化的向量化方法,如 add()、sub()、mul()、div() 等,它们能够对整个 Series 或 DataFrame 执行元素级的运算,而无需显式循环。对于本例中的模式 目标列 = 目标列 - B + A,我们可以将其分解为 目标列 = 目标列 + (A - B)。

df_vec = df.copy() # 创建副本
# 首先计算 (A - B) 的结果,这是一个 Series
intermediate_result = df_vec['A'].sub(df_vec['B'])

# 然后将这个 Series 加到目标列 C, D, E 上
# 注意:当将一个 Series 加到一个 DataFrame 的子集时,
# Pandas 会根据索引对齐,并广播 Series 的值到每一行。
# 明确指定 axis=0 确保按行进行操作(即 Series 的每个值对应 DataFrame 的一行)
df_vec[['C', 'D', 'E']] = df_vec[['C', 'D', 'E']].add(intermediate_result, axis=0)

print("\n使用向量化操作后的DataFrame:")
print(df_vec)

优点:

  • 极致性能: Pandas 的核心优势之一,这些方法在底层C/Cython实现,速度非常快,尤其适用于大型数据集。
  • Pandas 惯用法: 这种链式调用和向量化思维是Pandas数据处理的推荐方式。
  • 灵活性: 可以通过 axis 参数控制操作的方向(行或列)。

注意事项:

  • 理解 axis 参数对于正确执行操作至关重要。axis=0 表示按行操作(或沿索引方向),axis=1 表示按列操作(或沿列方向)。
  • 当操作涉及不同维度的数据(如 DataFrame 和 Series)时,Pandas 会尝试进行对齐和广播。确保这种行为符合预期。

4. 结果验证

无论是使用 eval() 还是向量化方法,最终的输出结果都应该是一致的:

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

可以看到,列 C, D, E 都按照 目标列 = 目标列 - B + A 的逻辑进行了更新。

5. 总结与最佳实践

在Pandas DataFrame中对多列执行批量算术运算时,DataFrame.eval() 和链式向量化方法都是强大的工具。

  • 选择 eval() 的场景:
    • 当表达式逻辑复杂,且涉及多个列的更新时,eval() 的多行字符串形式能提供更好的可读性。
    • 当表达式可以直接引用DataFrame中的列名,并且表达式本身比较长或包含多个中间步骤时。
  • 选择向量化操作的场景:
    • 当操作模式相对简单,可以分解为一系列 add(), sub(), mul() 等方法链式调用时。
    • 追求极致性能,并且熟悉Pandas的向量化操作原理时。
    • 当需要更细粒度地控制对齐和广播行为时。

在实际开发中,通常会根据具体情况和团队的代码风格偏好来选择。对于大多数日常任务,两种方法都能提供高效且可读的解决方案。建议优先考虑向量化操作,因为它更符合Pandas的设计哲学,并且在性能上通常表现更优。然而,对于涉及大量临时变量或复杂条件逻辑的表达式,eval() 的简洁性可能更具吸引力。

热门AI工具

更多
UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

551

2026.04.13

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1738

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2684

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6064

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5669

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7334

2024.03.22

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn