本文介绍如何使用 pandas 的 groupby + diff 组合高效计算满足特定条件（如时间与属性组合）的列间差值，避免低效嵌套循环，适用于大规模数据处理。
本文介绍如何使用 pandas 的 groupby + diff 组合高效计算满足特定条件（如时间与属性组合）的列间差值，避免低效嵌套循环，适用于大规模数据处理。
在数据分析中，常需对满足多维条件（如相同时间点、相同类别标签）的数据子集，计算某数值列相对于其前一行的变化量。例如，在时序实验或分组观测场景中，我们希望仅对同一 Time 和同一 Prop1 的样本序列计算 Prop2 的逐行差值——这正是 groupby(...).diff() 的典型应用场景。
核心方法极其简洁：
df['Prop2Diff'] = df.groupby(['Time', 'Prop1'])['Prop2'].diff()
该语句首先按 ['Time', 'Prop1'] 两列联合分组，确保每个组内记录具有完全一致的时间和属性标识；随后在每组内部，对 'Prop2' 列执行 .diff() 操作（即 x_i - x_{i-1}），自动保留原始行序，并将每组首行结果设为 NaN（因无前置值可减）。
以原始数据为例：
import pandas as pd
df = pd.DataFrame({
"Time": [1,2,3,1,2,3],
"Prop1": ["A","B","A","A","B","B"],
"Prop2": [4, 5, 1, 5, 4, 3]
})执行上述代码后，输出如下： | Time | Prop1 | Prop2 | Prop2Diff | |------|-------|--------|------------| | 1 | A | 4 | NaN | | 2 | B | 5 | NaN | | 3 | A | 1 | NaN | | 1 | A | 5 | 1.0 | | 2 | B | 4 | -1.0 | | 3 | B | 3 | NaN |
注意：分组逻辑严格依赖于原始数据的物理顺序。若数据未按 Time 或 Prop1 排序，可能导致同组记录被分散，使 .diff() 作用于非连续行。因此，如业务要求按时间先后计算差值，建议先排序：
df = df.sort_values(['Time', 'Prop1']).reset_index(drop=True) df['Prop2Diff'] = df.groupby(['Time', 'Prop1'])['Prop2'].diff()
此外，.diff() 支持参数 periods=n（默认为1），可用于计算跨 n 行的差值（如 diff(periods=2) 得到 x_i - x_{i-2}）；若需绝对差值，可后续链式调用 .abs()。
总结：用 groupby([...])[col].diff() 替代嵌套循环，不仅代码更简洁、可读性更强，且底层由 pandas 高度优化的向量化操作实现，性能提升可达数十倍以上，是处理百万级数据时的关键实践。
