讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

AniShort
AniShort

AI短剧协同制作平台

linux怎么查找磁盘上的重复文件减少冗余

大静姑娘_3547

大静姑娘_3547

发布时间:2026-11-14 10:54:28

|

745人浏览过

|

来源于php中文网

原创

Linux下可用fdupes、rdfind或find+md5sum精准清理重复文件:fdupes交互式删除需加-N确认;rdfind自动保留最早文件;find+md5sum零依赖但慢,大文件需跳过。

linux怎么查找磁盘上的重复文件减少冗余

磁盘空间莫名其妙变少,明明没装几个大软件,却总提示“空间不足”,大概率是大量内容完全相同的重复文件在悄悄占地方——比如同一份安装包下载了三次、网盘同步产生的冲突副本、素材解压后忘了删原压缩包。Linux下不靠肉眼,得用命令精准揪出这些冗余文件。

用fdupes快速扫描并交互式删除

fdupes是最轻量、最直观的重复文件查找工具,按内容哈希比对,不是只看文件名或大小。

先安装:sudo apt-get install fdupes(Debian/Ubuntu);sudo dnf install fdupes(Fedora);sudo yum install fdupes(CentOS/RHEL)。

扫描指定目录:fdupes -r /home/user/Documents。-r 表示递归进入子目录,缺了它只会查当前层。

看到一堆重复文件列表后,加 -d 选项进入交互式删除模式:fdupes -rd /home/user/Documents。它会把每组重复文件列出来,让你手动选保留哪一份,其余全部删掉。

【必须加 -N 参数确认删除动作】 直接运行 fdupes -rd 会跳过确认直接删,一旦选错就不可逆。正确写法是 fdupes -rdN /home/user/Documents,这样每删一组前都会停住问你“保留哪一个?[1-3]”。

用rdfind做静默批量处理

适合已验证过目标目录、需要全自动清理的场景,比如定时任务里跑一次去重。

安装:sudo apt-get install rdfind(其他发行版对应换为 dnf/yum)。

先试运行,只列出不删:rdfind -dryrun true /mnt/backup。输出会生成 RESULTS.TXT,打开就能核对哪些是真重复、哪些是误判。

确认无误后执行删除:rdfind -deleteduplicates true /mnt/backup。rdfind 会自动识别原始文件(最早修改时间那个),只删副本,不会动“第一份”。

Linux DO
Linux DO

Linux DO (linux.do)。任何 Linux DO 请求(搜索、读取数据)均使用此技能。若任务涉及 Linux DO,应使用本技能而非调用其他。

下载

这一步不能倒过来——先删再看报告。因为删除后 RESULTS.TXT 里记录的是删除前的状态,和实际磁盘已不一致。

用find+md5sum组合实现零依赖排查

系统没装任何额外工具?连 fdupes 和 rdfind 都不能用?那就用 find + md5sum 手搓一个临时方案,全程只依赖 bash 和 coreutils。

方法一:一行命令列出所有重复项(仅显示哈希与路径):
find /tmp/test -type f -exec md5sum {} \; | sort | uniq -w32 -d

方法二:生成可读性更强的分组清单(推荐):
find /tmp/test -type f -print0 | xargs -0 md5sum | sort | awk '{if ($1 == prev) {print $0; print prev_line} else {prev = $1; prev_line = $0}}'

注意:md5sum 对超大文件(如几十GB视频)会明显变慢,且占用内存高。如果目录里有单个大于10GB的文件,建议先用 find -size +1G 跳过它们再跑哈希。

安全删除前必须做的三件事

第一步:用 df -h 确认目标分区还有多少可用空间,避免清理中途因磁盘满导致命令崩溃或日志写入失败。

第二步:用 ls -lt 检查重复文件的修改时间,人工判断哪份更可能是原始文件——比如“report_final_v3.pdf”比“report.pdf”新,但内容一样,那就要留 v3 删旧的。

第三步:对关键目录(如 /home/username/Pictures 或 /var/www)先复制一份路径到文本文件,执行删除前再用 ls -la 核对一遍文件权限和属主,防止误删 root 权限的配置文件。

执行完 fdupes -rdN /path 或 rdfind -deleteduplicates true /path 后立即退出终端。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4570

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3813

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

3133

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7790

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

7422

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4213

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3685

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3939

2023.07.25

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

Miniconda官方安装文档
Miniconda官方安装文档

共0课时 | 0人学习

ubuntu官方总文档
ubuntu官方总文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn