讲师中心 微信公众号
AI工具推荐 视频效率加速

Pandas: 使用 df2 的分位数分箱规则对 df1 进行跨数据框分组编码

酷墨大大_7631

酷墨大大_7631

发布时间:2026-01-21 11:22:16

|

261人浏览过

|

来源于php中文网

原创

Pandas: 使用 df2 的分位数分箱规则对 df1 进行跨数据框分组编码

本文详解如何从一个 dataframe(df2)按日期分组计算 qcut 分箱边界,并将这些边界精准复用于另一个 dataframe(df1)中同日期的数值分类,避免重复计算、保证逻辑一致。

在实际数据分析中,常需「用历史数据定义分箱规则,再应用于新数据」——例如:基于全量交易日志(df2)按 PriceDate 计算每日报价四分位区间,再将这些区间作为标准,对另一份样本数据(df1)进行统一归类打标。直接对 df1 单独 qcut 会因样本量小或分布偏移导致分箱不一致;而硬编码边界又缺乏可扩展性。正确解法是提取分箱边界 → 关联日期 → 动态应用 pd.cut。

以下为完整、健壮的实现流程(含边界外值容错):

✅ 步骤 1:从参考数据(df2)提取分组分箱边界

使用 groupby(...).apply() + pd.qcut(..., retbins=True) 提取每个 PriceDate 对应的 bin 边界数组(注意 retbins=True 返回 (labels, bins) 元组,我们只需 [1]):

ref = df2.groupby('PriceDate')['Price'].apply(
    lambda g: pd.qcut(g, q=2, retbins=True)[1]
)
ref = pd.DataFrame(ref).reset_index().rename(columns={'Price': 'Bins'})

输出示例:

    PriceDate              Bins
0  2023-10-01   [0.0, 3.2, 9.3]
1  2023-10-02  [0.7, 6.5, 10.0]
⚠️ 注意:q=2 生成 2 个分位区间(即 3 个边界点),对应 0/1 两类标签。

✅ 步骤 2:关联目标数据(df1)与分箱边界

通过 PriceDate 左连接,使 df1 每行携带其所属日期对应的 Bins 列表:

应用程序在线商店宣传网站模板
应用程序在线商店宣传网站模板

应用程序在线商店宣传网站模板是一款提供免费应用程序在线商店宣传网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载
df = pd.merge(df1, ref, on='PriceDate', how='left')

此时 df['Bins'] 是 object 类型的列表列,需逐行解析。

✅ 步骤 3:定义安全分箱函数(关键!)

为应对 df1['Price'] 中可能出现的超边界值(如 -4.4

def bin_price(group):
    bins = group['Bins'].iloc[0]  # 取当前组唯一 bins 列表
    # 扩展边界:保留中间断点,两端替换为 ±inf
    extended_bins = [-np.inf] + bins[1:-1].tolist() + [np.inf]
    return pd.cut(group['Price'], bins=extended_bins, labels=False).astype('Int64')

✅ bins[1:-1] 剔除首尾冗余边界(qcut 返回的 bins 首尾常含重复极值,如 [min, q1, q2, max],而 cut 需 [−∞, q1, q2, +∞])
✅ .astype('Int64') 支持 NaN → pd.NA,比 int 更鲁棒

✅ 步骤 4:按日期分组应用分箱

调用 groupby('PriceDate', group_keys=False).apply() 确保每组独立处理,避免跨日期干扰:

df['GroupPrice'] = df.groupby('PriceDate', group_keys=False).apply(bin_price)

最终结果:

   Price   PriceDate              Bins  GroupPrice
0   -4.4  2023-10-01   [0.0, 3.2, 9.3]           0
1    3.6  2023-10-01   [0.0, 3.2, 9.3]           1
2    9.2  2023-10-01   [0.0, 3.2, 9.3]           1
3    3.4  2023-10-02  [0.7, 6.5, 10.0]           0

? 验证逻辑

  • 2023-10-01 边界:[-∞, 3.2, 9.3, +∞] → -4.4 ∈ [-∞, 3.2) → 0;3.6 ∈ [3.2, 9.3) → 1
  • 2023-10-02 边界:[-∞, 6.5, 10.0, +∞] → 3.4 ∈ [-∞, 6.5) → 0

? 总结与最佳实践

  • 永远扩展边界:用 [-np.inf, ..., np.inf] 替代原始 qcut 边界,杜绝 NaN 标签
  • 避免 apply 在整列上:pd.cut 不支持向量化传入不同 bins,必须 groupby().apply()
  • labels=False + astype('Int64'):确保返回整数标签且兼容缺失值
  • 扩展性提示:若需 4 分位(q=4),bins 长度为 5,bins[1:-1] 仍正确提取中间 3 个断点

此方法完全解耦了分箱规则生成与应用,适用于 A/B 测试分组、风控阈值迁移、特征工程标准化等场景。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

671

2026.04.13

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6679

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3225

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4168

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

2845

2025.08.29

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

60

2026.10.22

Gradle Wrapper配置教程
Gradle Wrapper配置教程

本专题介绍Gradle Wrapper的基本作用,涵盖文件组成、生成方法、版本配置和任务调用,帮助你理解项目如何使用指定的Gradle版本,减少不同开发环境带来的构建差异。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
LLVM Programmer’s Manual
LLVM Programmer’s Manual

共0课时 | 0人学习

Conan 包创建教程
Conan 包创建教程

共0课时 | 0人学习

Visual Studio 入门指南
Visual Studio 入门指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn