本文介绍如何使用 Pandas 与 Numba 协同实现大规模行情数据中多个并发多头仓位的完全向量化止盈/止损退出检测，避免逐行循环或 apply 操作，在千万级数据上提速 10–100 倍，并确保时间复杂度为 O(n×m) 的可控边界。
本文介绍如何使用 Pandas 与 Numba 协同实现大规模行情数据中多个并发多头仓位的**完全向量化止盈/止损退出检测**，避免逐行循环或 apply 操作，在千万级数据上提速 10–100 倍，并确保时间复杂度为 O(n×m) 的可控边界。
在高频或长周期策略回测中，当存在多个重叠开仓（如网格、信号密集型策略）时，传统 apply() 或 iterrows() 方式对每个入场点单独扫描后续 K 线以判断 TP/SL 触发，会导致时间复杂度飙升至 O(N²)，无法应对 700 万+ 行的分钟级数据。本文提供一种生产就绪的向量化退出计算方案：利用 Numba 编译加速核心搜索逻辑，结合 Pandas 预分配结构，实现毫秒级单次全量计算。
✅ 核心设计原则
- 零 Python 循环开销：关键双重循环由 Numba @njit 编译为原生机器码；
- 内存连续访问：所有输入数组（high, low, tp, sl）转为 NumPy float64 一维数组，避免 Pandas 索引跳转；
- 时间索引兼容性：将 datetime64[ns] 转为 float64（纳秒时间戳）传入 Numba，返回后再转回 datetime64；
- 空值鲁棒处理：自动跳过 NaN 的 longTpPrice / longSlPrice 行，仅处理有效入场点。
? 完整可运行代码
import pandas as pd
import numpy as np
import numba
# 示例数据（同问题中）
df = pd.DataFrame({
'open': {pd.Timestamp('2021-01-03 22:11:00'): 1.22319, pd.Timestamp('2021-01-03 22:12:00'): 1.22315,
pd.Timestamp('2021-01-03 22:15:00'): 1.22324, pd.Timestamp('2021-01-03 22:16:00'): 1.22355,
pd.Timestamp('2021-01-03 22:17:00'): 1.22357},
'high': {pd.Timestamp('2021-01-03 22:11:00'): 1.22319, pd.Timestamp('2021-01-03 22:12:00'): 1.22318,
pd.Timestamp('2021-01-03 22:15:00'): 1.22358, pd.Timestamp('2021-01-03 22:16:00'): 1.2236,
pd.Timestamp('2021-01-03 22:17:00'): 1.22361},
'low': {pd.Timestamp('2021-01-03 22:11:00'): 1.22317, pd.Timestamp('2021-01-03 22:12:00'): 1.22315,
pd.Timestamp('2021-01-03 22:15:00'): 1.22324, pd.Timestamp('2021-01-03 22:16:00'): 1.22352,
pd.Timestamp('2021-01-03 22:17:00'): 1.22355},
'close': {pd.Timestamp('2021-01-03 22:11:00'): 1.22317, pd.Timestamp('2021-01-03 22:12:00'): 1.22315,
pd.Timestamp('2021-01-03 22:15:00'): 1.22358, pd.Timestamp('2021-01-03 22:16:00'): 1.22352,
pd.Timestamp('2021-01-03 22:17:00'): 1.22356},
'longEntrySignal': {pd.Timestamp('2021-01-03 22:11:00'): False, pd.Timestamp('2021-01-03 22:12:00'): False,
pd.Timestamp('2021-01-03 22:15:00'): True, pd.Timestamp('2021-01-03 22:16:00'): False,
pd.Timestamp('2021-01-03 22:17:00'): False},
'longEntry': {pd.Timestamp('2021-01-03 22:11:00'): False, pd.Timestamp('2021-01-03 22:12:00'): False,
pd.Timestamp('2021-01-03 22:15:00'): False, pd.Timestamp('2021-01-03 22:16:00'): True,
pd.Timestamp('2021-01-03 22:17:00'): False},
'longEntryPrice': {pd.Timestamp('2021-01-03 22:11:00'): np.nan, pd.Timestamp('2021-01-03 22:12:00'): np.nan,
pd.Timestamp('2021-01-03 22:15:00'): np.nan, pd.Timestamp('2021-01-03 22:16:00'): 1.22355,
pd.Timestamp('2021-01-03 22:17:00'): np.nan},
'longTpPrice': {pd.Timestamp('2021-01-03 22:11:00'): np.nan, pd.Timestamp('2021-01-03 22:12:00'): np.nan,
pd.Timestamp('2021-01-03 22:15:00'): np.nan, pd.Timestamp('2021-01-03 22:16:00'): 1.2243451663854852,
pd.Timestamp('2021-01-03 22:17:00'): np.nan},
'longSlPrice': {pd.Timestamp('2021-01-03 22:11:00'): np.nan, pd.Timestamp('2021-01-03 22:12:00'): np.nan,
pd.Timestamp('2021-01-03 22:15:00'): np.nan, pd.Timestamp('2021-01-03 22:16:00'): 1.2227548336145146,
pd.Timestamp('2021-01-03 22:17:00'): np.nan}
})
# --- 步骤 1：预分配输出列 ---
df["exitPrice"] = np.nan
df["exitTime"] = pd.NaT # 使用 NaT 而非 NaN，语义更准确
# --- 步骤 2：定义 Numba 加速函数 ---
@numba.njit
def get_long_exit(
index_floats, # float64 时间戳数组（纳秒级）
high_vals, # float64 high 序列
low_vals, # float64 low 序列
tp_prices, # float64 TP 价格序列（对应入场点）
sl_prices, # float64 SL 价格序列（对应入场点）
out_exit_price, # 输出：触发价格
out_exit_time # 输出：触发时间（float64）
):
n = len(index_floats)
for i in range(n - 1): # 遍历每个入场点索引
if np.isnan(tp_prices[i]) or np.isnan(sl_prices[i]):
continue
tp, sl = tp_prices[i], sl_prices[i]
# 向后搜索首个满足条件的 K 线
for j in range(i + 1, n):
h, l = high_vals[j], low_vals[j]
# 注意：多头止盈需 price >= TP；止损需 price <= SL
if h >= tp:
out_exit_price[i] = tp
out_exit_time[i] = index_floats[j]
break
elif l <= sl:
out_exit_price[i] = sl
out_exit_time[i] = index_floats[j]
break
# --- 步骤 3：准备输入并调用 ---
index_as_float = df.index.astype("int64").values.astype("float64") # 纳秒时间戳 → float64
get_long_exit(
index_as_float,
df["high"].values,
df["low"].values,
df["longTpPrice"].values,
df["longSlPrice"].values,
df["exitPrice"].values,
df["exitTime"].values
)
# --- 步骤 4：还原 exitTime 为 datetime64 ---
df["exitTime"] = pd.to_datetime(df["exitTime"], unit="ns")
print(df[["open", "high", "low", "close", "longEntry", "longEntryPrice",
"longTpPrice", "longSlPrice", "exitPrice", "exitTime"]])⚠️ 关键注意事项
- Numba 兼容性：datetime64 不被 Numba 原生支持，必须转为 int64（纳秒）再转 float64 传入；返回后用 pd.to_datetime(..., unit='ns') 还原。
- 触发优先级：代码中 if h >= tp 在 elif l <= sl 之前，意味着同一根 K 线同时触达 TP 和 SL 时，TP 优先（符合多数交易系统逻辑）。若需 SL 优先，请交换条件顺序。
-
性能优化建议：
- 对超长序列（>100 万行），可考虑分块处理（如每 5 万行为一块），避免单次内层循环过深；
- 若入场点稀疏（如每千行仅 1 次），可先用 np.where(df['longEntry']) 提取有效索引，仅对这些位置执行搜索，进一步剪枝。
- 扩展性：该框架天然支持多空混合、动态 TP/SL（只需替换 tp_prices/sl_prices 数组）、以及批量回测（不同参数组合可并行调用 get_long_exit）。
✅ 总结
本方案摒弃了 Pandas 中低效的 apply 和隐式循环，通过 Numba 将核心退出逻辑编译为接近 C 语言的执行速度，同时保持 Pandas 数据结构的易用性。它不仅是解决「多仓位 TP/SL 向量化」的技术答案，更是构建高性能量化回测引擎的关键范式——计算下沉、数据扁平、类型显式、内存友好。
