讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux 运维中怎么使用 sort 命令对文本内容进行多条件排序与去重

雨敏姑娘_1815

雨敏姑娘_1815

发布时间:2026-10-19 09:10:59

|

780人浏览过

|

来源于php中文网

原创

sort命令支持多字段分层排序与去重组合:先用-t指定分隔符,-k指定字段范围(如-k2,2 -k3,3nr实现部门升序、同部门工资降序),再用-u全局去重或按列去重;混合字段需注意字典序陷阱。

linux 运维中怎么使用 sort 命令对文本内容进行多条件排序与去重

Linux 运维中,sort 命令是处理日志、配置文件、CSV 数据等文本内容的核心工具。多条件排序和去重不是两个孤立操作,而是常组合使用——先排序再统一去重,或边排序边控制重复逻辑。

按多个字段分层排序(如部门+工资)

实际运维中常需“先按某列分组,组内再按另一列排序”。例如员工数据 employees.csv 格式为:姓名,部门,工资,要求:先按部门升序,同部门内按工资降序。

  • -t ',' 指定逗号为字段分隔符
  • -k2,2 表示只取第2列(部门)整体作为排序依据(避免跨列干扰)
  • -k3,3nr 表示对第3列(工资)按数值(-n)、逆序(-r)排序
  • 命令写法:sort -t',' -k2,2 -k3,3nr employees.csv

注意:字段范围写成 -k2,2 而非 -k2 更稳妥,后者可能意外延伸到后续列;多个 -k 参数按从左到右顺序生效。

Obsidian (Linux)
Obsidian (Linux)

操作 Obsidian 库(纯 Markdown 笔记),并通过 notesmd-cli 实现自动化。

下载

排序后全局去重(非仅相邻行)

sort -u 可直接去重,但它依赖“重复行必须相邻”这一前提。而原始文件通常无序,所以必须先 sort,再 -u,不能跳步。

  • 简单去重:sort file.txt | sort -u 或更常用 sort -u file.txt(sort -u 内部已隐含排序)
  • 按某列去重(保留该列首次出现的整行):sort -t' ' -k2,2 -u access.log ——以空格分隔,按第2列(如IP)去重,保留每个IP第一次出现的那行
  • 去重并统计频次(如统计访问IP次数):sort access.log | uniq -c | sort -nr,其中 uniq -c 必须接在 sort 后面,否则只统计相邻重复

结合数值与字母混合场景的细节处理

运维中常见混合类型字段(如版本号 v1.10、v1.2),默认字典序会把 v1.10 排在 v1.2 前面(因字符 '1' -V(版本排序)替代 -n:

  • sort -V versions.txt 正确排序:v1.2 → v1.10 → v2.0
  • 若要降序加 -r:sort -Vr versions.txt
  • 对带前导空格或大小写混杂的字段,可加 -b(忽略前导空白)和 -f(忽略大小写)提升鲁棒性

实用技巧:避免常见陷阱

很多问题不是命令不会用,而是忽略了底层机制:

  • sort 默认按字符排序,数字 10 会排在 2 前面(因为 '1' -n 处理纯数字列
  • uniq 不排序,只处理相邻重复行;单独用 uniq -u 对未排序文件几乎无效
  • 大文件排序内存不足时,可用 --buffer-size=1G 或 --temporary-directory=/path 控制资源
  • 确认排序结果是否符合预期,可用 sort -c file.txt 检查文件是否已有序(返回 0 表示已排序)

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4110

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3493

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2693

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6550

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6202

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3593

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3085

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3319

2023.07.25

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn