Linux Shell文本过滤管道链的核心是命令间输入输出严丝合缝，需显式指定分隔符、优先单awk/sed整合逻辑、善用进程替换避免临时文件，并封装为带错误检查的函数提升复用性与健壮性。
Linux Shell 中编写复杂的文本过滤管道链，核心在于理解每个命令的输入输出行为，并让它们像齿轮一样严丝合缝地咬合。关键不是堆砌命令，而是让前一个命令的输出恰好成为后一个命令最需要的输入格式。
用好分隔符和字段定位
很多复杂过滤失败，是因为默认以空格或制表符切分字段，而实际数据里可能混有空格、逗号甚至特殊符号。用 awk 或 cut -d 显式指定分隔符比盲目依赖 cut -f 更可靠。
- 查看日志中访问量最高的 IP：`awk -F' ' '{print $1}' access.log | sort | uniq -c | sort -nr | head -10`（假设 IP 在每行开头）
- 处理 CSV 文件时优先用 awk -F','，避免字段含逗号导致错位
- 不确定分隔符时，先用 cat -A 或 hexdump -C 看真实字符，再决定用 -F$'\t' 还是 -F'|'
把多步逻辑压进单个 awk 或 sed
连续调用多个 grep、sed、awk 不仅慢，还容易因换行、空格、编码问题断链。把条件判断、字段提取、格式转换写进一个 awk 脚本里，更清晰也更健壮。
- 代替 `grep "ERROR" | awk '{print $4,$5}' | sort -u`：`awk '/ERROR/ {print $4, $5}' logfile | sort -u`
- 需要同时过滤+计算+格式化时，直接在 awk 中用 if、NR、END 块完成
- 用 sed -n 配合地址范围（如 /start/,/end/p）替代多个 grep 组合
善用进程替换避免临时文件
当需要多次读取同一数据源，或要对两个流做比较/合并时，别急着写临时文件。用 <(command) 把命令输出当作文件描述符传给其他命令，保持管道思维。
- 找两个日志文件独有的请求路径：`comm -13 <(sort a.log | cut -d' ' -f7 | sort -u) <(sort b.log | cut -d' ' -f7 | sort -u)`
- 用 diff <(sort file1) <(sort file2) 比较排序后差异，不生成中间文件
- 注意：某些老版本 shell 或命令可能不支持进程替换，可改用命名管道（mkfifo）作为备选
加一层 shell 函数封装常用链
反复使用的长管道，比如解析 JSON 日志、提取容器 CPU 使用率、统计某类错误频次，适合封装成带参数的函数。既提升复用性，又避免每次敲一长串易出错的命令。
- 定义：logtop() { awk -v field="$1" '{print $field}' "$2" | sort | uniq -c | sort -nr | head -${3:-10}; }
- 调用：logtop 1 /var/log/syslog 20（取第 1 字段，查 syslog，显示前 20）
- 函数内可用 set -o pipefail 确保任一环节失败整个管道报错，避免静默丢数据
