本文介绍两种高性能方法，利用 pyjanitor.conditional_join 或 pandas.IntervalIndex 构建多维区间索引，根据 col1 和 col2 是否同时落在多个元组定义的二维区间内，为 DataFrame 动态生成新列。
本文介绍两种高性能方法，利用 `pyjanitor.conditional_join` 或 `pandas.intervalindex` 构建多维区间索引，根据 `col1` 和 `col2` 是否同时落在多个元组定义的二维区间内，为 dataframe 动态生成新列。
在实际数据分析中，常需根据多个字段联合匹配预定义的区间规则（如分段定价、等级划分、地理围栏等）生成新标签或数值。直接使用 apply + 循环遍历元组列表虽直观，但时间复杂度高（O(n×m)），面对大数据集性能急剧下降。本文提供两种向量化、可扩展的解决方案。
✅ 方案一：使用 pyjanitor.conditional_join（推荐）
conditional_join 是 pyjanitor 提供的高效非等值连接工具，支持多列范围匹配，底层基于排序与双指针算法，复杂度接近 O(n log n)，显著优于逐行判断。
# 安装：pip install pyjanitor
import pandas as pd
import janitor
ls = [(1, 2, 10, 20, 5),
(3, 4, 30, 40, 10),
(5, 6, 50, 60, 20)]
df_ = pd.DataFrame({
'col1': [1.1, 3.5, 5.4, 4.1],
'col2': [11, 35, 44, 41]
})
# 构建规则表：每行对应一个元组，列名映射为区间边界
rules = pd.DataFrame(ls).rename(columns={4: 'result'})
# 统一数据类型以避免隐式转换警告
rules = rules.astype({
0: df_['col1'].dtype, # col1 下界
1: df_['col1'].dtype, # col1 上界
2: df_['col2'].dtype, # col2 下界
3: df_['col2'].dtype # col2 上界
})
# 执行条件连接：col1 ∈ [0,1] 且 col2 ∈ [2,3]
out = df_.conditional_join(
rules,
('col1', 0, '>='), ('col1', 1, '<='),
('col2', 2, '>='), ('col2', 3, '<='),
right_columns=['result'],
how='left' # 未匹配项自动填充 NaN
)
print(out)
# col1 col2 result
# 0 1.1 11 5.0
# 1 3.5 35 10.0
# 2 5.4 44 NaN
# 3 4.1 41 NaN⚠️ 注意：conditional_join 要求左右表列类型一致；若 col1 为 float，规则中对应边界也应为 float（如 (1.0, 2.0, ...)），否则可能因类型不匹配导致空结果。
✅ 方案二：基于 IntervalIndex 的 MultiIndex 映射（纯 Pandas）
适用于规则数量适中、内存充足场景。核心思想是将每个元组视为二维矩形区域，用 MultiIndex（由两个 IntervalIndex 组成）构建快速查找索引。
import numpy as np
import pandas as pd
a = np.array(ls).T # 转置 → shape: (5, 3)
# 构建两个 IntervalIndex：分别对应 col1 和 col2 的区间
col1_intervals = pd.IntervalIndex.from_arrays(a[0], a[1])
col2_intervals = pd.IntervalIndex.from_arrays(a[2], a[3])
# 合并为 MultiIndex：(col1_interval, col2_interval) → result
idx = pd.MultiIndex.from_arrays([col1_intervals, col2_intervals])
lookup_series = pd.Series(a[4], index=idx)
# 对 df_ 中每行 (col1, col2) 查找匹配区间
df_['result'] = lookup_series.reindex(
zip(df_['col1'], df_['col2'])
).values
print(df_)
# col1 col2 result
# 0 1.1 11 5.0
# 1 3.5 35 10.0
# 2 5.4 44 NaN
# 3 4.1 41 NaN? 提示：IntervalIndex 查找为 O(log n) 单次查询，整体复杂度约 O(m log n)，对中等规模规则集（数千条）非常高效；但需确保所有区间互斥或明确处理重叠逻辑（当前默认返回首个匹配）。
总结与选型建议
- 优先选择 conditional_join：语法清晰、支持任意比较运算符（>=, <=, != 等）、自动处理重叠规则、性能稳定，适合生产环境。
- 选用 IntervalIndex 方案：零外部依赖、内存局部性好、适合规则静态且需极致轻量部署的场景。
- 避免 df.apply(lambda x: ...) + for tuple in ls：在万级数据下性能可能下降百倍以上。
- 所有方案均天然支持 None/NaN 缺失值语义，无需额外处理。
两种方法均能准确实现“双字段联合区间匹配”，兼顾可读性、性能与可维护性，可根据项目技术栈灵活选用。
