讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Python中实现代价敏感学习Cost-Sensitive

大强吖_5115

大强吖_5115

发布时间:2026-11-06 09:18:29

|

886人浏览过

|

来源于php中文网

原创

class_weight≠代价敏感学习,因其仅按类别频率倒数加权,而代价敏感需显式建模错判代价;应通过sample_weight、CostSensitiveClassifier或XGBoost自定义目标函数实现。

如何在python中实现代价敏感学习cost-sensitive

为什么 class_weight 不等于代价敏感学习?

很多人以为给 sklearn 分类器传个 class_weight="balanced" 就算做了代价敏感学习——其实这只是对类别频率做倒数加权,没真正建模「错判不同类别的实际业务代价」。真正的代价敏感学习需要你明确指定:把正类判成负类(假阴性)比把负类判成正类(假阳性)贵 5 倍?还是反过来?这得靠显式代价矩阵或样本级权重来驱动模型优化目标。

用 sample_weight 手动注入代价信号

这是最直接、兼容性最强的方式,适用于几乎所有 sklearn 分类器(LogisticRegression、RandomForestClassifier、SVC 等)。核心思路是:对每个样本,按其真实标签和你定义的误判代价,算出它在损失函数里的相对重要性。

  • 假设二分类,标签为 y=0(负类)和 y=1(正类),你定义代价:C(1→0)=10(漏检正样本代价高),C(0→1)=2(误报代价低)
  • 那么每个样本的 sample_weight 可设为:C(y_true → y_pred_wrong),但训练时我们不知道 y_pred_wrong,所以退而求其次——对所有 y=1 样本赋予权重 10,所有 y=0 样本赋予权重 2
  • 代码上就是:sample_weight = np.where(y == 1, 10, 2),然后传给 fit(X, y, sample_weight=sample_weight)

注意:这个权重不是“让模型多学正样本”,而是告诉模型“判错一个正样本,惩罚力度是判错负样本的 5 倍”。效果比 class_weight 更可控,但需你提前量化代价。

用 imblearn 的 CostSensitiveClassifier 做封装

如果你不想手动算权重,imbalanced-learn(imblearn)提供了更贴近代价敏感定义的封装器:CostSensitiveClassifier。它内部基于代价矩阵重采样 + 集成,适合代价不对称极强的场景。

立即学习“Python免费学习笔记(深入)”;

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  • 安装:pip install imbalanced-learn
  • 代价矩阵格式是二维数组:cost_matrix[i][j] 表示真实为类 i 却被预测为类 j 的代价;对角线应为 0(正确预测无代价)
  • 例如二分类:cost_matrix = [[0, 2], [10, 0]] 表示 0→1 代价为 2,1→0 代价为 10
  • 用法:clf = CostSensitiveClassifier(estimator=RandomForestClassifier(), cost_matrix=cost_matrix),再调用 fit

缺点是它底层依赖重采样,可能放大噪声;且不支持所有 estimator(比如不兼容 XGBoost 原生接口)。

绕过 sklearn:用 XGBoost / LightGBM 的 scale_pos_weight 或自定义目标函数

树模型框架原生支持代价建模,比 sklearn 更灵活。XGBoost 的 scale_pos_weight 是简化版代价控制,只适用于二分类且仅调节正负样本梯度比例;真要精细控制,得写自定义损失函数。

  • scale_pos_weight 值 ≈ 负样本数 / 正样本数 ×(正类误判代价 / 负类误判代价),但它仍是启发式,不改变 Hessian
  • LightGBM 支持 focal_loss 类似机制,但更推荐用 objective='custom' + 自定义 gradient/hessian:在梯度里嵌入代价项,例如对正样本错判,梯度放大 10 倍
  • 示例片段(XGBoost):
    def custom_obj(y_pred, dtrain):
        y_true = dtrain.get_label()
        grad = np.zeros(len(y_true))
        hess = np.zeros(len(y_true))
        for i in range(len(y_true)):
            if y_true[i] == 1 and y_pred[i] < 0.5:  # 漏检
                grad[i] = -10 * (1 - y_pred[i])
            elif y_true[i] == 0 and y_pred[i] > 0.5:  # 误报
                grad[i] = y_pred[i]
            hess[i] = y_pred[i] * (1 - y_pred[i])
        return grad, hess

自定义目标函数威力大,但也容易写错梯度导致收敛失败;上线前务必用小数据验证梯度数值近似是否匹配。

真正难的不是怎么写代码,而是把业务里的“漏检一个客户流失要损失 2 万”“误推营销给沉默用户会降低品牌信任”这种模糊表述,翻译成可计算的、一致的、可验证的代价数字——这个过程没法交给算法库自动完成。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1871

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5124

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1829

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

30957

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3667

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3687

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1243

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn