1. 引言与挑战
在数据分析和处理过程中，我们经常需要从多个 excel 文件中提取数据并进行整合。这些 excel 文件可能位于同一目录或子目录中，并且每个文件可能包含多个工作表。我们的目标是根据特定的工作表名称筛选数据，并将其合并到一个统一的数据结构中，例如 pandas dataframe 字典，以便后续的分析。
此任务的核心挑战在于：
- 文件遍历： 如何有效地遍历指定目录下的所有 Excel 文件。
- 工作簿加载： 如何正确加载 Excel 文件以访问其内部结构。
- 工作表筛选： 如何根据工作表名称条件选择性地提取数据。
- 常见错误处理： 理解并解决在处理过程中可能遇到的 AttributeError。
2. 理解 AttributeError: 'str' object has no attribute 'sheet_names'
在处理 Excel 文件时，一个常见的错误是 AttributeError: 'str' object has no attribute 'sheet_names'。这个错误通常发生在尝试在一个字符串对象上调用 sheet_names 属性时。sheet_names 是 pandas.ExcelFile 对象的属性，用于获取工作簿中所有工作表的名称列表。
错误原因分析： 在原始错误代码中：
for sheet_name in path.sheet_names():
这里的 path 变量在循环中代表的是一个文件路径字符串（例如 'your/excel/files/path/file.xlsx'），而不是一个 pandas.ExcelFile 对象。因此，当尝试在一个字符串对象上调用 sheet_names()（即使是 sheet_names 属性，字符串也没有这个属性）时，就会引发 AttributeError。
正确做法： 必须先使用 pd.ExcelFile() 将文件路径字符串加载成一个 ExcelFile 对象，然后才能访问该对象的 sheet_names 属性。
3. 合并多 Excel 文件指定工作表数据的完整教程
以下是使用 Python 和 Pandas 实现该功能的详细步骤和代码示例。
3.1 环境准备
首先，确保安装了 pandas 库。如果尚未安装，可以通过以下命令安装：
pip install pandas openpyxl xlrd
openpyxl 和 xlrd 是 Pandas 读取 .xlsx 和 .xls 文件所需的引擎。
3.2 核心代码实现
import os
import pandas as pd
def merge_excel_sheets_to_dict(base_path: str, target_sheet_names: list) -> dict:
"""
遍历指定路径下的所有Excel文件，根据目标工作表名称筛选并合并数据。
Args:
base_path (str): 包含Excel文件的根目录路径。
target_sheet_names (list): 一个字符串列表，包含需要合并的工作表名称。
Returns:
dict: 一个字典，键为工作表名称，值为合并后的DataFrame。
如果同一个工作表名称在多个文件中出现，数据将追加到同一个DataFrame中。
"""
# 初始化一个字典，用于存储每个目标工作表名称对应的DataFrame
# 键为工作表名称，值为pd.DataFrame对象
merged_data_frames = {sheet_name: pd.DataFrame() for sheet_name in target_sheet_names}
print(f"开始扫描目录: {base_path}")
# 使用 os.walk 遍历指定路径下的所有文件和子目录
for root, dirs, files in os.walk(base_path):
for fname in files:
# 构建完整的文件路径
file_path = os.path.join(root, fname)
# 仅处理 Excel 文件 (.xlsx 或 .xls)
if file_path.endswith(('.xlsx', '.xls')):
print(f"\n正在处理文件: {file_path}")
try:
# 将文件路径加载为 pandas.ExcelFile 对象
# 这是解决 AttributeError 的关键步骤
xls_file = pd.ExcelFile(file_path)
# 遍历当前 Excel 文件中的所有工作表名称
for sheet_name in xls_file.sheet_names:
# 检查当前工作表名称是否在我们的目标列表中
if sheet_name in target_sheet_names:
print(f" 发现目标工作表: '{sheet_name}'")
# 解析指定工作表的数据到 DataFrame
df = xls_file.parse(sheet_name)
# 将当前工作表的数据追加到对应的 merged_data_frames 字典中
# 如果是第一次遇到这个工作表，它会是一个空的DataFrame，直接赋值
# 否则，使用 pd.concat 进行追加
if merged_data_frames[sheet_name].empty:
merged_data_frames[sheet_name] = df
else:
merged_data_frames[sheet_name] = pd.concat([merged_data_frames[sheet_name], df], ignore_index=True)
# else:
# print(f" 跳过非目标工作表: '{sheet_name}'")
except Exception as e:
print(f" 处理文件 '{file_path}' 时发生错误: {e}")
continue # 继续处理下一个文件
print("\n所有文件处理完毕。")
return merged_data_frames
# --- 使用示例 ---
if __name__ == "__main__":
# 定义你的 Excel 文件所在的路径
# 请将 'your/excel/files/path' 替换为实际的目录路径
excel_files_directory = 'your/excel/files/path'
# 定义你想要合并的工作表名称列表
# 示例中选取 'Portfolios' 和 'SP Search Term Req'
sheets_to_merge = ['Portfolios', 'SP Search Term Req']
# 调用函数执行合并操作
final_merged_data = merge_excel_sheets_to_dict(excel_files_directory, sheets_to_merge)
# 打印合并结果的概览
if final_merged_data:
for sheet_name, df in final_merged_data.items():
print(f"\n工作表 '{sheet_name}' 合并后的数据概览:")
if not df.empty:
print(f" 总行数: {len(df)}")
print(df.head()) # 打印前几行数据
else:
print(" 未找到数据或数据为空。")
else:
print("未找到任何符合条件的工作表数据。")
3.3 代码解析
- 导入必要的库： os 用于文件系统操作（遍历目录），pandas 用于数据处理。
-
merge_excel_sheets_to_dict 函数：
- 接收 base_path（Excel 文件根目录）和 target_sheet_names（要合并的工作表名称列表）作为参数。
- merged_data_frames 初始化： 创建一个字典，预先为每个目标工作表名称初始化一个空的 Pandas DataFrame。这样做的好处是，即使某个工作表在某个文件中不存在，我们也能确保最终字典中包含该工作表名称的键，其值为一个空 DataFrame，便于后续处理。
- os.walk(base_path)： 这是遍历目录的关键。它会生成一个三元组 (root, dirs, files)，其中 root 是当前正在遍历的目录路径，dirs 是 root 下的子目录列表，files 是 root 下的文件列表。
- 文件路径构建与筛选： os.path.join(root, fname) 拼接出文件的完整路径。if file_path.endswith(('.xlsx', '.xls')): 确保我们只处理 Excel 文件。
- 加载 ExcelFile 对象： xls_file = pd.ExcelFile(file_path) 是解决 AttributeError 的关键。它将 Excel 文件加载为一个 ExcelFile 对象，这个对象才拥有 sheet_names 属性。
- 遍历工作表： for sheet_name in xls_file.sheet_names: 遍历当前 Excel 文件中的所有工作表名称。
- 条件筛选与解析： if sheet_name in target_sheet_names: 检查当前工作表是否是我们想要合并的目标工作表。如果是，df = xls_file.parse(sheet_name) 将该工作表解析为 Pandas DataFrame。
- 数据追加： pd.concat 用于将新解析的 DataFrame 追加到 merged_data_frames 字典中对应工作表的 DataFrame 中。ignore_index=True 在追加时会重置索引，避免索引重复。
- 错误处理： try-except 块用于捕获在处理特定文件时可能发生的错误（例如文件损坏、权限问题等），并打印错误信息，然后继续处理下一个文件，提高程序的健壮性。
-
使用示例 (if __name__ == "__main__":)：
- 定义 excel_files_directory 为你的 Excel 文件实际存放的路径。
- 定义 sheets_to_merge 为你希望合并的工作表名称列表。
- 调用 merge_excel_sheets_to_dict 函数并打印合并结果的概览。
4. 注意事项与最佳实践
- 路径设置： 务必将 excel_files_directory = 'your/excel/files/path' 替换为你的实际路径。建议使用绝对路径以避免潜在问题。
- 工作表名称匹配： target_sheet_names 列表中的名称必须与 Excel 文件中的工作表名称完全匹配（包括大小写）。
-
内存管理： 如果要合并的 Excel 文件数量巨大或每个文件中的工作表数据量非常大，可能会导致内存不足。
- 考虑分批处理文件。
- 如果数据允许，可以考虑在解析每个 DataFrame 后，立即将其写入数据库或 HDF5 文件，而不是全部加载到内存中。
- 文件格式： 代码目前支持 .xlsx 和 .xls 格式。如果需要支持其他格式，需扩展 endswith 条件。
- 错误处理： 提供的 try-except 块是一个基本的错误处理。在生产环境中，你可能需要更详细的日志记录或错误报告机制。
- 数据清洗： 合并后的 DataFrame 可能需要进一步的数据清洗和预处理（例如处理缺失值、数据类型转换等），这取决于你的具体分析需求。
- 合并策略： 示例代码采用的是将同名工作表的数据简单地纵向追加 (pd.concat)。如果你的需求是横向合并（例如基于某一列进行 merge 或 join），则需要调整 pd.concat 后的逻辑。
5. 总结
本教程提供了一个健壮且灵活的 Python Pandas 解决方案，用于从多个 Excel 文件中提取并合并指定工作表的数据。通过正确使用 pandas.ExcelFile 对象，我们成功解决了常见的 AttributeError。此方法不仅提高了数据处理的效率，也为后续的数据分析工作奠定了坚实的基础。通过理解其核心原理和注意事项，你可以根据自己的具体需求进一步定制和优化此解决方案。
