本文详细介绍了如何使用Pandas和NumPy高效合并两个数据框，其中一个数据框的某个时间戳需要落在另一个数据框定义的两个时间列之间。传统迭代方法在大数据量下效率低下，通过引入NumPy广播机制，可以显著提升合并操作的速度和灵活性，同时保持代码简洁，并能轻松扩展以应对更复杂的合并条件，但需注意潜在的内存消耗问题。
基于时间范围的Pandas数据框合并教程
在数据分析中，我们经常需要合并多个数据框。一种常见的复杂场景是，将一个数据框（df2）中的时间戳 (time_3) 与另一个数据框（df1）中定义的时间范围 (time_1 和 time_2) 进行匹配。具体需求是，如果 df2 中的 time_3 落在 df1 中某行的 time_1 和 time_2 之间，则将 df1 的该行与 df2 的对应行合并，并且 df1 的行可能会因多个匹配而重复。
问题描述与传统方法的局限性
假设我们有两个数据框：
- df1 包含 time_1、time_2 和其他数据列，其中 time_1 和 time_2 定义了一个时间区间。
- df2 包含 time_3 和其他数据列。
我们的目标是，对于 df1 的每一行，找到所有 df2 中 time_3 落在 df1 当前行 time_1 和 time_2 之间的行，并将它们合并。
一个直观但效率低下的方法是使用嵌套循环。例如，遍历 df1 的每一行，然后对 df2 的所有行进行筛选，找到匹配项后逐个追加到结果数据框。这种方法在数据量较小时尚可接受，但当数据框行数增多时，其 O(n*m) 的时间复杂度会导致性能急剧下降，尤其在Python的循环效率限制下，很容易出现“非常慢”的情况。
采用NumPy广播实现高效合并
为了解决传统迭代方法的效率问题，我们可以利用NumPy的广播（Broadcasting）机制。NumPy广播允许对不同形状的数组执行算术运算，其底层是高度优化的C语言实现，因此在处理大量数据时比Python循环快得多。
1. 准备数据
首先，确保数据框的时间列已正确转换为Pandas的datetime类型。此外，为了后续通过索引进行数据提取，建议重置两个数据框的索引，以确保索引是唯一的且从0开始的整数序列。
import pandas as pd
import numpy as np
# 示例数据创建
data1 = {
'time_1': ['2023-10-01 04:02:00', '2023-10-01 04:03:00'],
'time_2': ['2023-10-01 08:29:00', '2023-10-01 08:49:00'],
'dummy_data': [-245.66, -1772.94]
}
df1 = pd.DataFrame(data1)
df1['time_1'] = pd.to_datetime(df1['time_1'])
df1['time_2'] = pd.to_datetime(df1['time_2'])
data2 = {
'time_3': [
'2023-10-01 06:21:13.238024',
'2023-10-01 06:47:19.796628',
'2023-10-01 07:37:06.438740',
'2023-10-01 08:16:16.995256',
'2023-10-01 08:33:53.081095'
],
'dummy_data2': [-131.36, -236.27, 5.91, -134.03, -103.73]
}
df2 = pd.DataFrame(data2)
df2['time_3'] = pd.to_datetime(df2['time_3'])
# 重置索引，确保索引是唯一的整数序列
df1 = df1.reset_index(drop=True)
df2 = df2.reset_index(drop=True)
print("df1:\n", df1)
print("\ndf2:\n", df2)2. 准备NumPy数组进行广播
为了进行广播比较，我们需要将相关的Pandas时间序列转换为NumPy数组。关键在于对 df1 的时间列进行重塑（[:, None]），使其成为一个列向量，而 df2 的时间列则保持为行向量。这样，当它们进行比较时，NumPy会自动将它们扩展成一个 n * m 的矩阵（n 是 df1 的行数，m 是 df2 的行数），从而实现“每行对每行”的比较。
# 将时间列转换为NumPy数组 # df1的时间列转换为列向量，df2的时间列转换为行向量 t1 = df1["time_1"].to_numpy()[:, None] # 形状 (n, 1) t2 = df1["time_2"].to_numpy()[:, None] # 形状 (n, 1) t3 = df2["time_3"].to_numpy() # 形状 (m,)
3. 执行广播比较并获取匹配索引
现在，我们可以执行时间范围的比较。t1 < t3 会比较 df1 的每个 time_1 与 df2 的所有 time_3，生成一个 n * m 的布尔矩阵。同理，t3 < t2 也会生成一个 n * m 的布尔矩阵。通过逻辑与 (&) 操作，我们可以得到 time_3 落在 time_1 和 time_2 之间的所有匹配位置。
np.nonzero() 函数会返回这个布尔矩阵中所有 True 值的坐标。x 数组将包含匹配的 df1 行索引，y 数组将包含匹配的 df2 行索引。
# 执行广播比较：t3是否在t1和t2之间
# 结果是一个 n * m 的布尔矩阵
match_matrix = (t1 <= t3) & (t3 <= t2) # 使用 <= 包含边界
# 获取匹配的行索引
# x: df1中匹配行的索引
# y: df2中匹配行的索引
x, y = match_matrix.nonzero()
print("\n匹配的df1索引 (x):", x)
print("匹配的df2索引 (y):", y)注意：原始问题中使用的 between 函数默认是左闭右开，即 time_1 <= time_3 < time_2。如果需要严格遵循，可以将 t3 < t2 替换为 t3 < t2。本教程为了通用性，使用了 t1 <= t3 和 t3 <= t2，即左右都包含。
4. 合并匹配的行
最后一步是根据 x 和 y 数组中记录的索引来提取 df1 和 df2 中对应的行，并将它们横向合并。df1.iloc[x] 会根据 x 中的索引提取 df1 的行，df2.iloc[y] 同理。pd.concat 函数用于将这两个提取出的子数据框按列（axis=1）合并。
# 根据匹配索引提取并合并数据框行
result = pd.concat(
[
df1.iloc[x].reset_index(drop=True), # 提取df1匹配行并重置索引
df2.iloc[y].reset_index(drop=True), # 提取df2匹配行并重置索引
],
axis=1, # 按列合并
)
print("\n合并结果:\n", result)完整代码示例
import pandas as pd
import numpy as np
# 1. 示例数据创建
data1 = {
'time_1': ['2023-10-01 04:02:00', '2023-10-01 04:03:00'],
'time_2': ['2023-10-01 08:29:00', '2023-10-01 08:49:00'],
'dummy_data': [-245.66, -1772.94]
}
df1 = pd.DataFrame(data1)
df1['time_1'] = pd.to_datetime(df1['time_1'])
df1['time_2'] = pd.to_datetime(df1['time_2'])
data2 = {
'time_3': [
'2023-10-01 06:21:13.238024',
'2023-10-01 06:47:19.796628',
'2023-10-01 07:37:06.438740',
'2023-10-01 08:16:16.995256',
'2023-10-01 08:33:53.081095'
],
'dummy_data2': [-131.36, -236.27, 5.91, -134.03, -103.73]
}
df2 = pd.DataFrame(data2)
df2['time_3'] = pd.to_datetime(df2['time_3'])
# 2. 重置索引（如果原始索引不保证唯一或连续）
df1 = df1.reset_index(drop=True)
df2 = df2.reset_index(drop=True)
# 3. 准备NumPy数组进行广播
t1 = df1["time_1"].to_numpy()[:, None] # df1的time_1作为列向量
t2 = df1["time_2"].to_numpy()[:, None] # df1的time_2作为列向量
t3 = df2["time_3"].to_numpy() # df2的time_3作为行向量
# 4. 执行广播比较
# 这里使用 <= 来包含边界，如果需要严格小于，请调整
match_matrix = (t1 <= t3) & (t3 <= t2)
# 5. 获取匹配的df1和df2的行索引
x, y = match_matrix.nonzero()
# 6. 根据匹配索引合并数据框行
result = pd.concat(
[
df1.iloc[x].reset_index(drop=True),
df2.iloc[y].reset_index(drop=True),
],
axis=1,
)
print("\n最终合并结果:\n", result)注意事项与性能考量
- 内存消耗: NumPy广播生成 n * m 的布尔矩阵。如果 df1 和 df2 的行数 n 和 m 都非常大（例如，数百万行），那么这个 n * m 的矩阵可能会消耗巨大的内存，甚至导致内存溢出。在这种极端情况下，可能需要考虑其他更复杂的解决方案，例如分块处理、使用专门的区间树数据结构，或者数据库级别的区间连接功能。
- 索引重置: 在使用 iloc 之前重置索引 (reset_index(drop=True)) 是一个好习惯，可以避免因原始数据框索引不连续或重复而导致的问题。
- 条件扩展: NumPy广播的优势在于其灵活性。如果需要添加更多合并条件（例如，除了时间范围匹配外，还需要某个属性也匹配），可以轻松地在 match_matrix 的计算中添加额外的布尔条件，例如 (t1 <= t3) & (t3 <= t2) & (df1['attr_a'].to_numpy()[:, None] == df2['attr_b'].to_numpy())。
- 时间精度: 确保所有时间列都转换为 datetime 对象，并且精度一致，以避免比较错误。
总结
利用NumPy的广播机制是解决Pandas中基于时间范围进行数据框合并的强大且高效的方法。它将原本需要嵌套循环的 O(n*m) 操作转化为高度优化的底层数组操作，显著提升了处理大规模数据的性能。虽然需要警惕内存消耗，但在大多数常见场景下，这种方法都是实现此类复杂合并操作的首选“Pandas-y”解决方案。
