sed和awk是Linux日志与配置处理的核心工具：sed用于文本替换、删除等行操作，如修改配置项或清理注释；awk擅长字段化分析，可提取IP、统计状态码、汇总请求；二者结合可实现清洗后分析，如sed过滤调试日志后由awk统计错误类型，配合正则与分隔符支持，能高效完成自动化文本处理任务。
在 Linux 开发中，处理日志和配置文件是日常任务。sed 和 awk 是两个强大的文本处理工具，适合自动化、高效地完成提取、替换、过滤等操作。下面介绍它们在实际场景中的用法。
sed：流编辑器，擅长文本替换与行操作
sed 以行为单位处理文本，常用于修改、删除、插入内容，特别适合批量处理配置文件或清洗日志。
常见用途：
- 替换字符串（如修改配置项）
- 删除注释行或空行
- 提取特定行
示例：
# 将配置文件中的 port=8080 替换为 port=9000
sed -i 's/port=8080/port=9000/' config.conf
# 删除所有以 # 开头的注释行和空行
sed -i '/^#/d;/^$/d' app.log
# 显示包含 ERROR 的行，并打印前后各 2 行
sed -n '/ERROR/-2,+2p' system.log
awk：数据提取与结构化分析利器
awk 按字段解析文本，适合从日志中提取关键信息，比如时间、IP、状态码等。它把每行看作一组字段，默认以空白分隔。
常用场景：
- 统计访问量、错误次数
- 格式化输出日志摘要
- 条件过滤并计算
示例：
# 提取 Nginx 日志中的 IP 地址（第一列）awk '{print $1}' access.log
# 统计 HTTP 状态码 404 出现次数
awk '$9 == 404 {count++} END {print count+0}' access.log
# 找出请求超过 1 秒的行（假设第 10 字段是响应时间）
awk '$10 > 1 {print $1, $7, $10}' access.log
# 按用户 IP 汇总请求数
awk '{ip[$1]++} END {for (i in ip) print i, ip[i]}' access.log
组合使用：sed 预处理 + awk 分析
真实场景中，可以先用 sed 清理数据，再交给 awk 处理。
# 去掉日志中的调试信息，然后统计错误类型sed '/DEBUG/d' app.log | awk '/ERROR/ {err[$NF]++} END {for(e in err) print e, err[e]}'
# 提取 Apache 日志中特定日期的访问，并按 URL 排序计数
sed -n '/10\/May\/2024/p' access.log | awk '{url[$7]++} END {for(u in url) print url[u], u}' | sort -nr
小技巧与注意事项
- sed 使用 -i 修改文件前建议先测试，可加 .bak 备份：sed -i.bak 's/old/new/' file
- awk 支持自定义分隔符，如 CSV 文件可用 -F','
- 正则表达式在两者中都支持，但语法略有不同，注意转义
- 对于复杂逻辑，优先考虑脚本化（写成 shell 脚本），提高可维护性
基本上就这些。掌握 sed 和 awk 的基本模式后，处理日志和配置会变得非常高效。不复杂但容易忽略的是多练习实际例子，熟悉字段结构和匹配逻辑。
