讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

updream

一键生成高质量推广成片

Seko
Seko

AI短剧一键生成成片

Python如何进行批量数据合并处理_Pandas合并技巧详解【教学】

星墨酱_1067

星墨酱_1067

发布时间:2025-12-13 00:29:13

|

1099人浏览过

|

来源于php中文网

原创

pandas批量数据合并核心是统一列名、对齐索引、选对方式:一、用glob自动读取多CSV再concat纵向堆叠;二、用merge按字段关联,注意on/how参数及ID类型一致;三、多表用reduce链式merge;四、合并前必查类型、去空格大小写、去重。

python如何进行批量数据合并处理_pandas合并技巧详解【教学】

用pandas做批量数据合并,核心就三点:统一列名、对齐索引、选对合并方式。别硬拼,先理清逻辑再写代码。

一、多个CSV文件自动读取并合并

常见场景是同一格式的多个表格(比如每月销售数据),存在一个文件夹里。不用一个个pd.read_csv,用glob+循环更省事:

  • 用glob.glob("data/month_*.csv")匹配所有目标文件路径
  • 用[pd.read_csv(f) for f in file_list]批量读取,生成DataFrame列表
  • 用pd.concat(df_list, ignore_index=True)纵向堆叠,ignore_index=True重置行号,避免重复索引

小技巧:如果各表字段顺序不一致,concat前可统一列顺序,比如df = df[["id", "name", "amount"]]。

二、按字段精准合并(merge)不是简单拼接

两个表靠某个字段关联(如用户ID),要用pd.merge(),不是concat。关键参数要盯紧:

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载

立即学习“Python免费学习笔记(深入)”;

  • on=指定共用列名;left_on和right_on用于列名不同时分别指定
  • how=决定合并逻辑:"inner"(交集)、"left"(左表全保留)、"outer"(并集)
  • 合并后检查result.isna().sum(),看关键字段是否大量缺失——可能是ID类型不一致(str vs int)或空格/大小写问题

三、多表串联合并(reduce + merge)

三个及以上表按同一字段依次关联?别嵌套merge。用functools.reduce链式处理更清晰:

  • 把所有DataFrame放进列表:dfs = [df1, df2, df3]
  • 一行搞定:from functools import reduce; final = reduce(lambda left, right: pd.merge(left, right, on="key"), dfs)
  • 注意:所有表的"key"列数据类型和清洗状态必须一致,否则中间某次merge就中断

四、合并前必做的三件事

90%的合并报错或结果异常,其实出在前期准备上:

  • 查类型:用df.dtypes确认关联字段是不是同一类型(特别是数字ID被读成object)
  • 去空格和大小写:如df["name"] = df["name"].str.strip().str.lower()
  • 去重检查:用df.duplicated(subset=["key"]).sum()看关联键是否唯一,非唯一时merge会爆炸性扩行

基本上就这些。不复杂但容易忽略细节,动手前花两分钟检查字段和类型,比报错后再调试快得多。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

360

2025.12.04

Python 数据清洗与预处理实战
Python 数据清洗与预处理实战

本专题系统讲解 Python 在数据清洗与预处理中的核心技术,包括使用 Pandas 进行缺失值处理、异常值检测、数据格式化、特征工程与数据转换,结合 NumPy 高效处理大规模数据。通过实战案例,帮助学习者掌握 如何处理混乱、不完整数据,为后续数据分析与机器学习模型训练打下坚实基础。

272

2026.01.31

Python数据分析与Pandas高级实战
Python数据分析与Pandas高级实战

本专题围绕 Python 数据分析展开,系统讲解 Pandas 的高级用法,包括数据清洗、透视表、时间序列分析以及多表合并与分组操作。通过实战案例,帮助开发者掌握高效处理与分析数据的方法,提高数据处理效率与分析能力。

891

2026.04.13

数据类型有哪几种
数据类型有哪几种

数据类型有整型、浮点型、字符型、字符串型、布尔型、数组、结构体和枚举等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3451

2023.10.31

php数据类型
php数据类型

本专题整合了php数据类型相关内容,阅读专题下面的文章了解更多详细内容。

574

2025.10.31

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

582

2026.02.12

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7359

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3505

2024.08.29

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

60

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn