讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么高效批量删除包含数百万小文件的目录

冬墨同学_1283

冬墨同学_1283

发布时间:2026-10-16 07:27:31

|

921人浏览过

|

来源于php中文网

原创

<p>rm -rf 失败是因为 Shell 将 展开为所有文件名,超出系统 ARG_MAX 限制;推荐用 find /path -type f -delete(安全高效)或 rsync --delete-before 同步空目录(千万级更优)。</p>

linux怎么高效批量删除包含数百万小文件的目录

为什么 rm -rf * 会失败

当目录下有几百万个文件时,rm -rf * 很可能直接报错:-bash: /bin/rm: Argument list too long。这是因为 Shell 会先把 * 展开成所有文件名组成的超长参数列表,再传给 rm,而系统对单次命令的参数总长度有限制(ARG_MAX)。文件越多,越容易触达这个上限——不是 rm 慢,是它根本启动不了。

find -delete 是最简可靠的方案

只要你的 find 版本较新(GNU findutils ≥ 4.2.3,CentOS 7+/Ubuntu 16.04+ 都满足),直接用 -delete 是最稳妥的选择。它不依赖外部命令、不拼接参数、不 fork 大量子进程,且原子性好。

Zynq Linux Hardware Debug
Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq(Cortex‑A9/A53 + FPGA)Linux 环境,调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查,支持 PetaLinux 开发。

下载
  • find /path/to/dir -type f -delete:只删文件,跳过子目录(安全)
  • find /path/to/dir -mindepth 1 -delete:从一级子项开始删,等效于清空目录但保留目录本身
  • 务必先测试匹配范围:find /path/to/dir -type f | head -n 20 看是否真为你想删的文件
  • 避免误删:不要加 -name "*.log" 之类条件后直接跑 -delete,除非你确认通配逻辑无歧义

rsync --delete-before 更快但需额外准备

当文件数超过千万级,或 find -delete 明显变慢(如 XFS 文件系统上遍历耗时高),rsync 方案往往更快——它本质是“同步一个空目录”,由 rsync 内部优化了元数据批量操作。

  • 先建空目录:mkdir -p /tmp/empty
  • 执行清空:rsync --delete-before -a -H --progress /tmp/empty/ /path/to/dir/(注意源路径末尾的 /)
  • 关键点:/tmp/empty/ 后面必须带斜杠,否则 rsync 会把整个 /tmp/empty 目录移进去再删,造成灾难
  • 如果目标目录权限受限(如属主为 oracle),确保运行 rsync 的用户有读写权限,否则部分文件删不掉却无报错

别忽略 inode 耗尽和 ls 失败的问题

数百万小文件最常引发的不是磁盘空间满,而是 df -i 显示 inode 使用率 100%。此时连 ls 都可能卡死或报 memory exhausted——因为默认排序要加载全部文件名进内存。

  • 用 ls -f1 /path/to/dir | head -n 100 绕过排序,快速确认目录是否真的“活”着
  • 统计文件数别用 ls | wc -l,改用 find /path/to/dir -type f -printf '.' | wc -c,更准也更快
  • 删除中途若中断,find -delete 不会回滚,但也不会损坏文件系统;而 rsync 中断后残留状态可预测(目标目录=同步前状态)
  • 生产环境首次操作前,至少做一次 du -sh /path/to/dir 和 df -i 快照,留痕比后悔强

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4030

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3433

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2613

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6370

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6002

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3493

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2985

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3219

2023.07.25

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux 教程
Linux 教程

共28课时 | 57万人学习

手把手教你玩转Linux视频教程
手把手教你玩转Linux视频教程

共17课时 | 5.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn