讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux Shell 中利用管道进行多阶段文本处理

千辰小哥_9605

千辰小哥_9605

发布时间:2026-08-28 09:07:36

|

472人浏览过

|

来源于php中文网

原创

Linux Shell 管道(|)本质是将前命令 stdout 作为后命令 stdin,构建内存中不落地的数据流水线;基础三件套 grep/cut/sort 各司其职,awk/sed 处理复杂逻辑,需注意 stderr 重定向、避免 useless use of cat 及空输入导致中断。

linux shell 中利用管道进行多阶段文本处理

Linux Shell 中的管道(|)本质是把前一个命令的 stdout 当作后一个命令的 stdin,让文本在内存中“流”起来,不落地、不中断。它不是简单拼接命令,而是构建一条数据流水线——每个环节专注一件事:过滤、切分、排序、统计或转换。

用好基础三件套:grep、cut、sort

这是最常用也最容易上手的组合。比如从 /etc/passwd 中提取所有 shell 为 /bin/bash 的用户名并按字母排序:

  • grep '/bin/bash$' /etc/passwd | cut -d: -f1 | sort
  • grep 筛出行末尾匹配 /bin/bash 的记录
  • cut -d: -f1 以冒号为分隔符,取第 1 列(用户名)
  • sort 对结果逐行排序(默认 ASCII 顺序)

进阶处理靠 awk 和 sed

当需要字段计算、条件判断或复杂替换时,awk 和 sed 就不可替代。例如统计日志中每种 HTTP 状态码出现次数:

linux-sysadmin
linux-sysadmin

Linux系统管理专家,覆盖12大模块:用户权限、SSH、存储、网络、systemd、防火墙、日志监控、备份恢复、TLS证书、Ansible、容器、IaC。提供配置、验证、加固、监控、备份、自动化、故障排查、回滚闭环。关键词:useradd、sudo、sshd_config、chmod、SEL...

下载
  • grep 'HTTP/' access.log | awk '{print $9}' | sort | uniq -c | sort -nr
  • 如果状态码混在更复杂格式里(如 "GET /api/health HTTP/1.1" 200),可用 awk 直接提取:awk '$2 ~ /^HTTP\// {print $NF}' access.log | sort | uniq -c
  • sed 适合流式编辑,比如统一清理多余空格:cat data.txt | sed 's/[[:space:]]\+/ /g' | sed 's/^ //;s/ $//'

避免常见陷阱:错误流、缓冲与空输入

管道只传 stdout,stderr 默认仍输出到终端,可能干扰结果。比如 cat missing.log | wc -l 会先报错再显示 0 行。解决办法:

  • 重定向 stderr:用 2>/dev/null 屏蔽错误,或 2>&1 合并进 stdout 参与后续处理
  • 大文件处理时,grep 直接读文件比 cat file | grep 更快,后者是典型“useless use of cat”
  • 某些命令(如 head)遇到空输入会提前退出,导致后续命令收不到数据;可在关键位置加 cat 或用 || true 保流程畅通

串联多个工具完成真实运维任务

一个典型场景:查出占用 CPU 最高的前 5 个 Java 进程 PID 并强制终止:

  • ps aux --sort=-%cpu | grep java | head -n 5 | awk '{print $2}' | xargs kill -9
  • --sort=-%cpu 按 CPU 使用率降序排列
  • awk '{print $2}' 提取第二列(PID)
  • xargs 把多行 PID 转成 kill -9 pid1 pid2 ... 的参数形式
  • 注意:生产环境慎用 kill -9,建议先试 kill -15

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

3690

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3213

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2273

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

5450

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

5102

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3053

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2545

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2779

2023.07.25

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

120

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn