讲师中心 微信公众号
AI工具推荐 视频效率加速

Python glob 与 os.walk 的性能与使用场景对比

秋雪吖_8591

秋雪吖_8591

发布时间:2026-02-25 19:07:13

|

380人浏览过

|

来源于php中文网

原创

该用 glob 而不是 os.walk 时:匹配单层目录下符合简单通配符的文件(如 .py),不关心子目录结构;glob 更轻量、直接,适合配置扫描、日志清理等任务。

python glob 与 os.walk 的性能与使用场景对比

什么时候该用 glob 而不是 os.walk

当你要匹配**单层目录下符合简单通配符的文件**(比如所有 .py 文件),且不关心子目录结构时,glob 更轻、更直接。

它底层调用系统 glob 或路径展开逻辑,不做递归遍历,也没有生成器开销。适合配置扫描、日志轮转清理、批量重命名这类“一眼看到底”的任务。

  • glob.glob("*.log") 只查当前目录;加 **/*.log 才递归——但这时已接近 os.walk 的职责边界
  • glob 不区分文件/目录,返回路径字符串,需手动用 os.path.isfile() 过滤
  • Windows 下大小写不敏感,Linux/macOS 敏感——同一行代码在不同系统可能返回不同结果

为什么 os.walk 在深度遍历时更可控

当你需要逐层访问目录树、对每个目录做判断(比如跳过 __pycache__)、或同时收集文件和目录元信息时,os.walk 的三元组返回值(root, dirs, files)提供了明确的干预点。

它本质是广度优先的迭代器,每次 yield 前允许你修改 dirs 列表来控制是否进入子目录——这是 glob 完全做不到的。

立即学习“Python免费学习笔记(深入)”;

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
  • 修改 dirs 可实现条件跳过:dirs[:] = [d for d in dirs if d != "__pycache__"]
  • 如果只想要文件路径,别写 for root, dirs, files in os.walk(...): for f in files: yield os.path.join(root, f) ——这样拼接慢,改用 pathlib.Path(root).joinpath(f) 更安全
  • os.walk 默认不遵循符号链接,加 followlinks=True 会带来循环遍历风险,慎开

glob.iglob 和 os.walk 的内存与速度差异在哪

glob.iglob 返回生成器,不占额外内存;os.walk 本身也是生成器,但它的每次 yield 都要读取并解析一个目录的完整内容(readdir 系统调用),而 glob 在单层场景下只需一次目录扫描。

实测:在含 10 万文件的单层目录中,glob("*.txt") 比 os.walk 快 3–5 倍;但在嵌套 5 层、每层平均 200 个条目的目录中,两者耗时接近,os.walk 反而因可剪枝略优。

  • 别为了“看起来更现代”强行用 pathlib.Path.rglob 替代 os.walk——它底层仍是调用 os.walk,还多一层对象封装
  • glob 不支持正则,只认 shell 通配符(*, ?, [abc]);想按正则过滤,得先拿到路径再用 re.match
  • Python 3.12+ 中 glob 加了 root_dir 和 dir_fd 参数,可限定扫描起点,但兼容性差,生产环境慎用

真实项目里最容易踩的坑

不是语法错,而是路径语义混淆:比如用 glob("src/**/*.py") 却忘了开启 recursive=True,结果返回空列表——错误信息不会提示,只会静默失败。

另一个高频问题是相对路径处理:os.walk 返回的 root 是绝对路径还是相对路径,取决于你传入的起始路径;而 glob 总是以当前工作目录(os.getcwd())为基准,跟脚本位置无关。

  • 用 Path(__file__).parent 明确基准路径,别依赖 os.chdir()
  • glob 不支持 ~ 展开,~/project/*.py 会字面匹配,得先用 os.path.expanduser()
  • 在容器或 CI 环境中,os.walk 可能因权限问题中断(比如遇到 /proc 下的不可读目录),建议包一层 try/except OSError
事情说清了就结束

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

相关专题

更多
js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1818

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2884

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6204

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6009

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7614

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

11394

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

5879

2025.07.29

c++字符串相关教程
c++字符串相关教程

本专题整合了c++字符串相关教程,阅读专题下面的文章了解更多详细内容。

6467

2025.08.07

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

40

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn