讲师中心 微信公众号
AI工具推荐 视频效率加速

Pandas:跨数据集复用分位数分箱规则对目标数据进行分组标记

大枫酱_4831

大枫酱_4831

发布时间:2026-01-21 15:05:28

|

571人浏览过

|

来源于php中文网

原创

Pandas:跨数据集复用分位数分箱规则对目标数据进行分组标记

本文详解如何基于一个参考数据集(df2)按日期分组计算四分位数边界,并将这些动态生成的分箱区间迁移应用到另一个目标数据集(df1)上,实现精准、可扩展的跨表分位数分组映射。

在量化分析、风控评分或市场分层等场景中,常需使用历史/基准数据(如 df2)确定分位数阈值(如中位数、四分位点),再将同一套分箱逻辑应用于新数据(如 df1)进行一致分类。Pandas 的 pd.qcut 支持按组计算分位数并返回边界(retbins=True),但直接跨 DataFrame 复用需手动对齐分箱结构——这是本教程的核心挑战与解决方案。

以下为完整、健壮的实现流程(含异常处理与边界扩展):

✅ 步骤 1:从参考数据(df2)提取每组分位数边界

ref = df2.groupby('PriceDate')['Price'].apply(
    lambda g: pd.qcut(g, q=2, retbins=True)[1]  # q=2 → 二分位(即中位数分割),返回 bins 数组
)
ref = pd.DataFrame(ref).reset_index().rename(columns={'Price': 'Bins'})

输出示例:

    PriceDate              Bins
0  2023-10-01   [0.0, 3.2, 9.3]
1  2023-10-02  [0.7, 6.5, 10.0]
? 注意:q=2 生成 2 个区间(3 个边界点),对应 labels=False 下的 0 和 1;若需四分位(4 组),设 q=4 即可。

✅ 步骤 2:关联目标数据(df1)与分箱规则

df_merged = pd.merge(df1, ref, on='PriceDate', how='left')

确保 df1 中每个 PriceDate 都能查到对应 Bins 列表,形成带分箱元信息的宽表。

应用程序在线商店宣传网站模板
应用程序在线商店宣传网站模板

应用程序在线商店宣传网站模板是一款提供免费应用程序在线商店宣传网站模板下载。提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢。

下载

✅ 步骤 3:定义安全分箱函数(关键!)

def safe_bin_price(group):
    bins = group['Bins'].iloc[0]  # 每组共享同一套 bins
    # 扩展边界:将首尾替换为 -∞ 和 +∞,覆盖所有可能取值(包括越界值)
    extended_bins = [-np.inf] + bins[1:-1].tolist() + [np.inf]
    # 使用 pd.cut 进行分箱,labels=False 返回整数索引(0, 1, ...)
    return pd.cut(group['Price'], bins=extended_bins, labels=False).astype('Int64')

⚠️ 关键设计说明:

  • bins[1:-1] 舍弃原始 qcut 返回的首尾边界(因 qcut 默认包含 -inf/inf 或极值,而 cut 要求显式开闭),仅保留内部切割点;
  • 添加 [-np.inf, ..., np.inf] 确保 df1 中任何 Price 值(如 -4.4 或 15.0)均能被归入有效区间;
  • 使用 astype('Int64') 支持 NaN(当 Price 为缺失值时自动返回 <NA>)。

✅ 步骤 4:按日期分组应用分箱

df_merged['Rank'] = df_merged.groupby('PriceDate', group_keys=False).apply(safe_bin_price)

最终结果:

   Price   PriceDate              Bins  Rank
0   -4.4  2023-10-01   [0.0, 3.2, 9.3]   0
1    3.6  2023-10-01   [0.0, 3.2, 9.3]   1
2    9.2  2023-10-01   [0.0, 3.2, 9.3]   1
3    3.4  2023-10-02  [0.7, 6.5, 10.0]   0

? 注意事项与进阶建议

  • 空组/单值组处理:若某 PriceDate 在 df2 中样本数不足(如 < q+1),qcut 会报错。建议预处理:df2.groupby('PriceDate').filter(lambda x: len(x) > 2);
  • 重复边界(duplicates):添加 duplicates='drop' 参数至 qcut 调用中,避免因数据重复导致边界重合报错;
  • 性能优化:对大数据集,可用 pd.IntervalIndex.from_breaks() 预构建索引,配合 interval_index.get_indexer() 替代 pd.cut;
  • 扩展性:该模式可无缝适配任意分位数(q=3, q=4, q=[0.25,0.5,0.75])及多级分组(如 groupby(['PriceDate','Sector']))。

通过此方法,你不再需要硬编码阈值,而是让分箱逻辑完全由参考数据驱动,真正实现“一次建模、多处复用”的工程化分组范式。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

320

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

252

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

591

2026.04.13

lambda表达式
lambda表达式

Lambda表达式是一种匿名函数的简洁表示方式,它可以在需要函数作为参数的地方使用,并提供了一种更简洁、更灵活的编码方式,其语法为“lambda 参数列表: 表达式”,参数列表是函数的参数,可以包含一个或多个参数,用逗号分隔,表达式是函数的执行体,用于定义函数的具体操作。本专题为大家提供lambda表达式相关的文章、下载、课程内容,供大家免费下载体验。

1011

2023.09.15

python lambda函数
python lambda函数

本专题整合了python lambda函数用法详解,阅读专题下面的文章了解更多详细内容。

345

2025.11.08

Python lambda详解
Python lambda详解

本专题整合了Python lambda函数相关教程,阅读下面的文章了解更多详细内容。

534

2026.01.05

C++ Lambda 表达式与函数式编程
C++ Lambda 表达式与函数式编程

深入讲解 C++ Lambda 表达式与函数式编程范式,涵盖 Lambda 基础语法与返回值推导、值捕获与引用捕获的区别与陷阱、初始化捕获(C++14 广义捕获)、泛型 Lambda(auto 参数)、mutable 关键字修改捕获变量、std::function 类型擦除与函数包装、std::bind 参数绑定(及其被 Lambda 替代的趋势)、Lambda 在 STL 算法(sort/transform/for_each/remo

689

2026.05.06

Java 函数式接口与 Lambda 进阶技巧
Java 函数式接口与 Lambda 进阶技巧

在 Java Stream 基础之上进一步深入函数式编程,涵盖 @FunctionalInterface 注解与自定义函数式接口设计、四种方法引用(静态/实例/对象/构造器)的使用场景、Lambda 中的 effectively final 变量捕获规则、函数组合(andThen/compose)与柯里化技巧、Comparator 链式比较器构建、CompletableFuture 异步函数式编排、Reactor / RxJava 响应

408

2026.05.08

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
LLVM Programmer’s Manual
LLVM Programmer’s Manual

共0课时 | 0人学习

Conan 包创建教程
Conan 包创建教程

共0课时 | 0人学习

Visual Studio 入门指南
Visual Studio 入门指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn