讲师中心 微信公众号
AI工具推荐 视频效率加速

如何用 Pandas 高效地从长格式 DataFrame 构建宽格式新表

陌杰君_5277

陌杰君_5277

发布时间:2026-02-12 21:37:28

|

739人浏览过

|

来源于php中文网

原创

如何用 Pandas 高效地从长格式 DataFrame 构建宽格式新表

本文介绍如何基于原始长格式数据(含 obj_id、属性名、属性值三列),通过 pivot 等核心方法快速生成指定属性列的宽格式 dataframe,避免低效循环,兼顾可扩展性与类型安全。

在数据分析中,常遇到数据库导出的「长格式」(long-form)结构:同一实体(如 obj_id)的多个属性被拆分为多行记录(例如 Column B 存属性名,Column C 存对应值)。而后续建模或可视化往往需要「宽格式」(wide-form)——即每个属性作为独立列,每行代表一个实体。手动遍历 + 条件筛选(如原问题中的 apply + iterrows)不仅性能差、易出错,还难以维护。

Pandas 提供了更优雅、向量化且高效的解决方案:pivot 方法。它专为这类「行转列」场景设计,无需显式循环,代码简洁且执行迅速。

✅ 推荐做法:先过滤再 pivot(高效且可控)

假设原始 DataFrame df 如下:

import pandas as pd

df = pd.DataFrame({
    'obj_id': [1, 1, 1, 2],
    'Column B': ['weight', 'height', 'eye_color', 'weight'],
    'Column C': [150, 5.8, 'blue', 160]
})

要提取所有 obj_id 对应的 weight 值并构造成新表,推荐使用链式操作:

out = (df.query('`Column B` == "weight"')
         .pivot(index='obj_id', columns='Column B', values='Column C')
         .astype({'weight': int})  # 可选:显式转类型(如需整数)
         .reset_index()
         .rename_axis(columns=None)
      )
print(out)

输出:

   obj_id  weight
0     1     150
1     2     160
? 关键说明: query() 先精准筛选目标属性行,大幅减少 pivot 处理量; pivot(index=..., columns=..., values=...) 将 obj_id 设为行索引,Column B 的唯一值(此处仅 "weight")自动成为列名,Column C 填入对应值; rename_axis(columns=None) 移除列索引名称(避免顶部出现 Column B 标签); reset_index() 将 obj_id 从索引转为普通列,符合常规 DataFrame 结构。

? 扩展支持多属性:只需修改过滤条件

若还需同时提取 height、eye_color 等多个属性,只需将目标属性名加入列表,并用 isin() 过滤:

keep_attrs = ['weight', 'height', 'eye_color']

out = (df.loc[df['Column B'].isin(keep_attrs)]
         .pivot(index='obj_id', columns='Column B', values='Column C')
         .reset_index()
         .rename_axis(columns=None)
      )

结果将自动创建 weight、height、eye_color 三列,缺失值以 NaN 填充(如 obj_id=2 无 height 记录)。

⚠️ 注意事项与最佳实践

  • 避免先 pivot 后筛选:若直接对全量数据调用 pivot 再取子集(如 df.pivot(...)[['weight']]),会生成一个极宽的中间 DataFrame(含所有 Column B 值作为列),内存和性能开销显著增加,尤其当属性种类达数百时。
  • 处理重复键:若某 obj_id + Column B 组合存在多条记录,pivot 会报错 ValueError: Index contains duplicate entries。此时应先聚合(如 groupby(...).first() 或 .mean())再 pivot。
  • 空值与类型统一:pivot 后各列 dtype 可能为 object(因混合类型)。建议用 astype() 显式转换(如 int、float),或使用 pd.to_numeric(..., errors='coerce') 安全转换。
  • 替代方案提示:对于更复杂的透视需求(如多值聚合、多级索引),可考虑 pivot_table(支持 aggfunc)或 set_index().unstack(),但本场景 pivot 最简明高效。

掌握这一模式,你便能轻松将任意数量的「属性-值」对,从长格式数据库表中批量、可靠地重构为面向分析的宽格式 DataFrame。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

340

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

272

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

751

2026.04.13

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7107

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

824

2025.10.23

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

6919

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3325

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

4328

2025.08.29

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

100

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn