登录  /  注册

Python中的梯度提升(GBM)算法实例

WBOY
发布: 2023-06-10 16:51:07
原创
1523人浏览过

python中的梯度提升(gbm)算法实例

梯度提升(GBM)是一种机器学习方法,通过迭代地训练模型来逐步减少损失函数。它在回归和分类问题中都有良好的应用效果,并且是一种强大的集成学习算法。本文将以Python为例,介绍如何使用GBM算法对一个回归问题进行建模。

首先我们需要导入一些常用的Python库,如下所示:

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.metrics import mean_squared_error
登录后复制

本次案例中,我们将使用Car Evaluation数据集进行建模,该数据集包含6个属性和1个类别变量。我们将用这些属性变量来预测车辆的价格。首先,我们需要将CSV文件读入Pandas DataFrame中,如下所示:

data=pd.read_csv("car_data_1.csv")
登录后复制

接下来,我们需要将原始数据划分为训练集和测试集。我们将80%的数据作为训练集,20%的数据作为测试集。

train_data, test_data, train_label, test_label = train_test_split(data.iloc[:,:-1], data.iloc[:,-1], test_size=0.2, random_state=1)
登录后复制

然后我们需要进行特征工程,将分类变量编码成哑变量(Dummy Variable)。这里我们使用Pandas的get_dummies函数。

train_data = pd.get_dummies(train_data)
test_data = pd.get_dummies(test_data)
登录后复制

现在我们可以建立一个GBM模型。首先,我们初始化模型,然后进行参数设置。在这里,我们设置了模型的迭代次数(n_estimators)为100,并将学习率参数(learning_rate)设置为0.1。

model = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, random_state=1)
登录后复制

接下来,我们用训练集数据拟合模型:

model.fit(train_data,train_label)
登录后复制

接下来,我们使用测试集数据评估模型的性能。在这里,我们使用均方误差(MSE)来评价模型的性能。代码如下所示:

pred=model.predict(test_data)
mse=mean_squared_error(test_label, pred)
print("MSE:",mse)
登录后复制

最后,我们可以进一步探索GBM模型中变量的重要性。我们可以使用sklearn的feature_importances_函数来得到。

feat_imp = pd.Series(model.feature_importances_, index=train_data.columns).sort_values(ascending=False)
print(feat_imp)
登录后复制

总之,本文演示了如何使用Python的sklearn库实现GBM算法。我们使用Car Evaluation数据集来预测车辆的价格,并评估了模型的性能,并且我们还可以得到变量的重要性分数。GBM在机器学习中具有良好的应用效果,并且是一种强大的集成学习算法。

以上就是Python中的梯度提升(GBM)算法实例的详细内容,更多请关注php中文网其它相关文章!

智能AI问答
PHP中文网智能助手能迅速回答你的编程问题,提供实时的代码和解决方案,帮助你解决各种难题。不仅如此,它还能提供编程资源和学习指导,帮助你快速提升编程技能。无论你是初学者还是专业人士,AI智能助手都能成为你的可靠助手,助力你在编程领域取得更大的成就。
相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2024 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号