互信息计算原生慢因需多次直方图统计与动态类型推断；用@njit重写分箱后整数索引版本可提速10–50倍，配合分层抽样（分类按比例、回归用分位）将特征选择压至秒级。
直接上结论：互信息量（Mutual Information）计算本身不支持 NumPy 向量化，原生 Python 循环实现必然慢；但用 @njit 加速后，单次计算可提速 10–50 倍，再配合分层抽样控制样本量，整体特征选择流程能从分钟级压到秒级——前提是别在 @njit 函数里调用 scipy.stats.entropy 或 numpy.histogram 这类不支持的函数。
为什么互信息计算原生很慢？
互信息量本质是基于概率分布的 KL 散度，标准实现要对每个特征做两次直方图统计（X、Y 各一次），再算联合分布与边缘分布的比值。Python 的 scipy.stats.mutual_info_score 内部用的是纯 Python 循环 + np.unique，没有 JIT 编译，也没有类型提示，每次调用都要动态推断类型、分配内存、做哈希计数——尤其当特征是高基数离散型或需先分箱的连续型时，开销爆炸。
常见错误现象包括：
- 对 10 万样本 × 200 特征的数据集跑
mutual_info_classif，耗时 >3 分钟 - 用
sklearn.feature_selection.mutual_info_regression处理连续目标变量，卡在compute_mi内部的np.histogram2d - 手动写 for 循环调用
entropy和joint_entropy，CPU 占用率仅 10%～20%，明显没压满
怎么用 Numba 正确加速互信息核心循环？
关键不是“加装饰器”，而是重写一个只依赖基本算术和整数索引的版本，并显式声明类型。Numba 在 nopython=True 模式下不支持：
立即学习“Python免费学习笔记（深入）”；
-
scipy任何函数（entropy、histogram全报错） -
np.unique、np.bincount（除非输入是int64且范围小） - Python 字典、列表推导、字符串操作
可行方案是：先用 Pandas 或 NumPy 对特征和标签做等宽/等频分箱（这步在 JIT 外完成），得到两个 int32 数组 x_bin 和 y_bin，再传入 @njit 函数统计联合频次矩阵：
@njit
def mi_from_bins(x_bin, y_bin, n_x, n_y):
# x_bin, y_bin 是 int32 数组，n_x/n_y 是各自分箱数
joint = np.zeros((n_x, n_y), dtype=np.int32)
for i in range(len(x_bin)):
joint[x_bin[i], y_bin[i]] += 1
# 后续用 joint 算 marginal、log、sum... 全部用 raw numpy ops
return mi_value
注意：必须把分箱逻辑（如 pd.cut、KBinsDiscretizer）放在 JIT 函数外面，否则 @njit 直接失败。
分层抽样怎么配 Numba 才不白忙？
抽样不是越少越好，而是要保分布。对分类目标变量，必须按类别比例抽；对回归目标，建议用 quantile 分层（比如把 y 分成 5 档，每档抽 2000 样本）。否则 JIT 加速后的结果会严重偏移——因为互信息对尾部分布敏感。
实操要点：
- 抽样必须在
@njit外完成，JIT 不支持random.sample或np.random.choice - 抽样后立即转成
np.int32，避免 JIT 运行时做类型转换 - 若原始数据有缺失值，务必在抽样前用
dropna()或填充值，@njit不处理NaN - 推荐样本量：分类任务 ≤ 10000，回归任务 ≤ 30000；再大，JIT 编译后缓存失效风险上升
容易被忽略的兼容性陷阱
Numba 的 @njit 不是万能胶。你写的互信息函数一旦包含以下任一元素，就会 fallback 到 object mode（几乎不加速）或直接报错：
- 用了
math.log而非np.log（后者在@njit下可用） - 数组索引用了 float 类型变量（哪怕值是整数，也得强制
int(i)） - 返回值类型不明确，比如中间用了
sum()但没指定dtype，导致推断为float64而非float32 - 在函数内新建了 shape 不固定的数组（如
np.array([])），必须预分配
最稳妥的做法：所有输入参数加类型签名，例如 @njit(int32(int32[:], int32[:], int32, int32))，编译失败时错误信息会更精准。而真正难调的，其实是分箱策略和抽样偏差之间的耦合——这两者不匹配时，JIT 再快也没意义。
