讲师中心 微信公众号
AI工具推荐 视频效率加速

怎样利用Python批量处理Excel多表合并_通过Pandas库的高级merge功能

夜强君_6023

夜强君_6023

发布时间:2026-05-21 13:29:46

|

835人浏览过

|

来源于php中文网

原创

pd.concat()更合适,因其专为多表轴向堆叠设计,支持纵向/横向合并多个结构相似的Excel文件,不依赖键匹配;而pd.merge()仅适用于两张表基于列(如ID、日期)的关系型连接。

怎样利用python批量处理excel多表合并_通过pandas库的高级merge功能

合并多个Excel文件时,pd.concat() 比 pd.merge() 更合适

很多人一看到“合并”就本能想到 pd.merge(),但它只适用于按列(如ID、日期)对齐两张表的**关系型连接**,不是用来堆叠多张结构相似的表。批量合并几十个销售表、日报表、分部门表格时,真正该用的是 pd.concat() —— 它把所有 DataFrame 垂直或水平“摞起来”,保留原始字段,不强制匹配键。

常见错误现象:pd.merge() 报 KeyError: 'xxx' 或结果行数远少于预期,本质是误把“追加”当“关联”。

  • 用 pd.concat() 前,确保各表列名一致(可统一用 df.columns = [...] 重命名)
  • 加参数 ignore_index=True 避免索引重复导致后续筛选错乱
  • 若需标记来源文件,用 keys 参数: pd.concat(..., keys=file_names),会生成多级索引

读取多个Sheet页时,别硬写循环——用 pd.ExcelFile + sheet_names

一个 Excel 文件里有 “1月”、“2月”、“3月” 多个 Sheet,逐个 pd.read_excel("a.xlsx", sheet_name="1月") 写三遍?没必要。直接用 pd.ExcelFile 加载一次,再遍历 .sheet_names,既省IO又避免反复解析文件头。

性能影响:对含大量格式/公式的 .xlsx,用 pd.ExcelFile 可减少 40%+ 读取耗时(实测 50MB 文件)。

立即学习“Python免费学习笔记(深入)”;

记录数据一键导出 Excel/CSV(带样式)
记录数据一键导出 Excel/CSV(带样式)

把记录数组导出为带样式的 Excel(xlsx) 或带 BOM 的 CSV。支持列配置(表头/宽度/顺序)、表头冻结首行、斑马纹、布尔值转「是/否」、数组换行、CSV 中文防乱码。零依赖。触发词:导出 Excel、导出 CSV、记录转表格、列配置导出、数据导出、表格美化、JSON 转表格。

下载
  • excel = pd.ExcelFile("data.xlsx") 后,excel.sheet_names 返回列表,可过滤:[s for s in excel.sheet_names if "月" in s]
  • 读取时加 usecols(如 "A:C" 或 [0,1,2])跳过无用列,内存占用立降
  • 若某Sheet为空,pd.read_excel(excel, sheet_name=s) 会返回空DataFrame,建议加 if not df.empty: 过滤

合并后字段类型错乱?关键在 dtype 和 converters

合并前各表“订单号”有的是文本、有的被Excel自动转成数字,“金额”列混着字符串“¥1,234.00”和纯数字——pd.concat() 不做类型推断,直接拼,结果整列变 object,后续 .sum() 报错或求和为0。

解决思路不是合并后再转换,而是在读取阶段就约束类型:

  • 用 dtype={"订单号": str, "金额": float} 强制指定,但对含千分位符的字符串会报错
  • 更稳的是 converters: converters={"金额": lambda x: float(str(x).replace("¥","").replace(",",""))}
  • 日期列务必用 parse_dates=["下单时间"],否则合并后是字符串,df["下单时间"].dt.month 直接 AttributeError

大文件合并卡死?用 chunksize 分块读 + 迭代 pd.concat()

单个Excel超10万行,或要合并上百个文件时,全量读进内存再 concat 很容易触发 MemoryError。这时得放弃“一次性加载全部”的思路。

核心策略:每个文件分块读,每块 concat 一次,边读边释放内存。

  • for chunk in pd.read_excel("a.xlsx", chunksize=5000): 返回迭代器,每次只占少量内存
  • 维护一个空 result_df = pd.DataFrame(),每拿到一块就 result_df = pd.concat([result_df, chunk], ignore_index=True)
  • 注意:不要在循环里反复 pd.concat([A,B,C,D]),应累积到 list 再一次 concat,否则时间复杂度爆炸

真正容易被忽略的是磁盘IO瓶颈——如果所有Excel都在同一机械硬盘上,同时开10个 read_excel 反而更慢。顺序读+合理 chunksize(通常5k–20k)才是平衡点。

热门AI工具

更多
讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1891

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

5164

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1829

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

31177

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3687

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3707

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1243

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

616

2023.08.10

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Excel 教程
Excel 教程

共162课时 | 45.3万人学习

成为PHP架构师-自制PHP框架
成为PHP架构师-自制PHP框架

共28课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn