用awk统计日志中出现最多的IP：awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20，其中$1提取首字段（默认为IP），sort确保相邻重复，uniq -c计数，sort -nr降序排列，head -20取前20名。
怎么用 awk 快速统计日志里出现最多的 IP
直接用 awk 提取第一列（默认空格分隔）、去重计数、按频次倒序，三步到位。Nginx 默认日志格式中 IP 在最前面，所以 $1 就是客户端 IP：
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20注意：如果日志用了 log_format 自定义格式（比如加了前置时间戳或 JSON），$1 可能不是 IP，得先确认字段位置。可以用 head -1 /var/log/nginx/access.log | cut -d' ' -f1-5 看前几段结构。
常见错误：漏掉 sort 就直接 uniq -c ——uniq 只对相邻重复行计数，不排序等于白统计。
怎么过滤出“刷接口”的行为，不只是看 IP 频次
单纯 IP 出现多 ≠ 恶意刷量，可能是 CDN 节点或内网代理。要结合 URI 和状态码缩小范围：
- 只统计
POST或高频GET /api/请求：awk '$6 ~ /^"POST|GET \/api\// && $9 == "200" {print $1}' - 排除已知爬虫 UA（可选）：
! /Baiduspider|SemrushBot|AhrefsBot/ - 加上时间窗口更准（比如最近 1 小时）：
awk -v cutoff="$(date -d '1 hour ago' '+%d\/%b\/%Y:%H:[0-5][0-9]')"，再匹配$4字段
关键点： 是请求行（"GET /api/login HTTP/1.1"）， 是响应状态码；字段编号取决于你的 log_format，务必用 awk '{print <p>关键点：<code>$6 是请求行（"GET /api/login HTTP/1.1"），$9 是响应状态码；字段编号取决于你的 log_format，务必用 awk '{print $0}' access.log | head -1 实际验证。
怎么写成可定时运行的 Bash 脚本
把上面逻辑封装成脚本，重点处理日志轮转和输出控制：
#!/bin/bash
LOG="/var/log/nginx/access.log"
# 如果启用了 logrotate，可能需要检查 access.log.1 或 journalctl
[ -f "$LOG.1" ] && LOG="$LOG.1"
TOP_IPS=$(awk '$6 ~ /^"GET \/api\// && $9 == "200" {print $1}' "$LOG" | sort | uniq -c | sort -nr | head -10 | awk '{print $2}')
<p>for ip in $TOP_IPS; do
count=$(grep -c "^$ip " "$LOG" | grep -oE '[0-9]+')
if [ "$count" -gt 500 ]; then
echo "$(date): suspicious IP $ip ($count hits)"</p><h1>这里可以接 iptables 或 fail2ban 命令</h1><p>fi
done容易踩的坑：
- 脚本没加
#!/bin/bash或权限不足（chmod +x monitor.sh） - 直接读
access.log但 Nginx 正在写入，可能丢数据 → 更稳妥用journalctl -u nginx --since "1 hour ago" | awk ... - 没考虑 IPv6 地址（含冒号），
grep "^$ip "会误匹配，建议改用awk -v ip="$ip" '$1 == ip'
为什么不用 Python 而推荐 awk + shell 组合
不是 Python 不行，而是日志分析这类 I/O 密集型任务，awk 启动快、内存占用低、单行逻辑清晰。一个 1GB 的 access.log，awk 几秒出结果，Python 加载全部进内存再处理，容易 OOM，且代码量翻倍。
除非你要做复杂模式匹配（比如正则提取参数、调用外部 API 查 IP 归属），否则没必要上 Python。真要用，也别手写解析，直接用 goaccess 或 ngxtop 这类成熟工具更省心。
真正麻烦的是日志格式不统一、跨服务器汇总、需要实时告警——这些已经超出单脚本范畴，得上 ELK 或轻量级方案如 vector + prometheus。
