本文介绍如何使用 python 递归解压多层嵌套的 .gz 文件（即 gz 文件中包含其他 gz 文件），并最终提取出其中的 xml 文件，支持批量处理与自定义输出路径。
本文介绍如何使用 python 递归解压多层嵌套的 .gz 文件（即 gz 文件中包含其他 gz 文件），并最终提取出其中的 xml 文件，支持批量处理与自定义输出路径。
在实际数据处理场景中，尤其是网络路由数据（如 RouteViews、RIPE RIS）或某些归档日志系统中，常会遇到「压缩包套压缩包」的情况：一个顶层 .gz 文件解压后得到另一个 .gz 文件，再解压才得到真正的 XML 数据。标准的 gzip 模块仅支持单层解压，因此需编写递归逻辑来逐层剥离。
以下是一个健壮、可扩展的递归解压方案，不仅能处理任意深度的 .gz 嵌套，还能将最终解压出的 XML 文件（或其他原始内容）安全落地到指定目录：
✅ 核心思路
- 读取 .gz 文件 → 解压为同名无扩展名文件（如 data.xml.gz → data.xml）；
- 若新生成的文件仍以 .gz 结尾，则继续递归解压；
- 所有中间解压结果默认保存在当前工作目录；你可轻松修改为指定目标文件夹；
- 最终非 .gz 文件（如 xmldata1）即为目标 XML 内容，可直接读取或移动。
? 完整实现代码（含错误处理与路径控制）
import gzip
import shutil
import os
from pathlib import Path
def extract_gz_recursively(
gz_path: str,
output_dir: str = ".",
keep_intermediates: bool = False
) -> list:
"""
递归解压嵌套 .gz 文件，直至获得非 .gz 文件（如 XML）。
Args:
gz_path: 输入的 .gz 文件路径
output_dir: 最终非压缩文件的保存根目录
keep_intermediates: 是否保留中间解压出的 .gz 文件（默认 False）
Returns:
list: 所有成功提取出的最终文件路径列表（非 .gz 文件）
"""
gz_path = Path(gz_path)
if not gz_path.exists() or not gz_path.is_file():
raise ValueError(f"输入路径无效: {gz_path}")
# 创建输出目录
out_dir = Path(output_dir)
out_dir.mkdir(parents=True, exist_ok=True)
extracted_files = []
def _recurse(path: Path) -> None:
# 确保路径存在且为文件
if not path.is_file():
return
# 构造解压目标路径（去掉 .gz 后缀）
stem = path.stem if path.suffix == ".gz" else path.name
target_path = out_dir / stem
try:
# 解压 .gz → 去后缀文件
with gzip.open(path, "rb") as f_in:
with open(target_path, "wb") as f_out:
shutil.copyfileobj(f_in, f_out)
print(f"✓ 已解压: {path.name} → {target_path.name}")
# 若新文件仍以 .gz 结尾，继续递归
if target_path.suffix == ".gz":
_recurse(target_path)
else:
# 到达最终文件（如 XML、纯文本等），加入结果列表
extracted_files.append(str(target_path))
except Exception as e:
print(f"⚠ 解压失败 {path.name}: {e}")
return
_recurse(gz_path)
return extracted_files
# 示例：批量处理当前目录下所有 .gz 文件
if __name__ == "__main__":
INPUT_DIR = "." # 替换为你的源目录路径
OUTPUT_DIR = "./extracted_xml" # 自定义 XML 输出文件夹
gz_files = [f for f in Path(INPUT_DIR).iterdir()
if f.is_file() and f.suffix == ".gz"]
all_final_files = []
for gz in gz_files:
print(f"\n? 处理顶层压缩包: {gz.name}")
final_paths = extract_gz_recursively(gz, output_dir=OUTPUT_DIR)
all_final_files.extend(final_paths)
print(f"\n✅ 全部完成！共提取 {len(all_final_files)} 个最终文件：")
for p in all_final_files:
print(f" → {Path(p).relative_to(OUTPUT_DIR)}")⚠ 注意事项与最佳实践
- 文件名冲突风险：若多层嵌套中出现相同文件名（如 data.gz → data → data.gz → data），后一次解压将覆盖前一次。建议在 _recurse() 中加入时间戳或哈希后缀（如 data_20240520_abc123）提升健壮性；
- 内存安全：本方案使用流式拷贝（shutil.copyfileobj），适合大文件，不会将整个压缩内容载入内存；
- XML 验证（可选增强）：可在识别出最终文件后，用 xml.etree.ElementTree.parse() 快速校验是否为有效 XML；
- 跨平台兼容性：pathlib 替代 os.path，确保 Windows/macOS/Linux 路径行为一致；
- 权限与只读文件：若源 .gz 为只读，open(..., "wb") 可能失败，可添加 target_path.chmod(0o644) 或异常捕获重试。
通过上述方法，你不仅能自动化解压任意深度的 .gz 嵌套结构，还可灵活集成至 ETL 流程、数据清洗脚本或 Web 后端服务中——真正实现“一键穿透压缩迷宫，直达 XML 核心”。
