Nginx访问日志中可用awk提取URL路径并去查询参数，再经sort | uniq -c | sort -nr统计Top 20高频URL；支持引号包裹日志、自定义格式及过滤爬虫/静态资源等干扰项。
在 Nginx 中分析访问日志（如 /var/log/nginx/access.log）时，awk 和 sort 是轻量高效的核心工具，无需额外安装服务或写脚本，就能快速统计高频 URL。
提取 URL 并去除非必要字段
Nginx 默认日志格式中，请求行（如 "GET /api/v1/users?id=123 HTTP/1.1"）通常位于第 7 字段（按空格分割）。但直接取第 7 字段会包含 HTTP 方法、协议和查询参数，影响统计准确性。推荐用 awk 提取路径部分并截断查询参数：
示例命令：awk '{match($7, /^\/[^?]+/); if(RLENGTH>0) print substr($7, RSTART, RLENGTH)}' /var/log/nginx/access.log
说明：
• match($7, /^\/[^?]+/) 匹配以 / 开头、直到第一个 ? 前的路径；
• substr($7, RSTART, RLENGTH) 提取匹配到的纯路径（如 /api/v1/users）；
• 自动跳过不匹配的行（如健康检查或无路径请求）。
统计并排序高频 URL
将提取的路径交给 sort | uniq -c | sort -nr 组合即可完成频次统计与降序排列：
完整命令：awk '{match($7, /^\/[^?]+/); if(RLENGTH>0) print substr($7, RSTART, RLENGTH)}' /var/log/nginx/access.log | sort | uniq -c | sort -nr | head -20
说明：
• sort：为 uniq 准备相邻重复项；
• uniq -c：每行前加出现次数；
• sort -nr：按数字（-n）逆序（-r）排序；
• head -20：只看 Top 20，避免刷屏。
处理带引号或自定义日志格式的情况
若日志中请求行被双引号包裹（如 "GET /login HTTP/1.1"），或使用了 log_format 自定义字段（如含 $request_uri），需调整字段索引或改用正则捕获：
- 若日志格式为
log_format main '$remote_addr - $remote_user [$time_local] "$request" $status ...';，且$request在第 6 字段，则把$7改为$6； - 更稳妥方式是用
awk -F'"' '{print $2}'先提取双引号内内容，再对结果做路径提取； - 若需保留查询参数（如区分
/search?q=a和/search?q=b），去掉match部分，直接用awk '{print $7}'，但注意清理末尾协议（可用sub(/ .*/, "", $7)）。
排除爬虫、监控和静态资源干扰
真实分析中，高频项常被 /healthz、/favicon.ico 或 .js/.css 占据。可在管道中加入 grep -v 过滤：
... | grep -vE '\.(js|css|png|jpg|gif|ico)$|^/healthz$|^/ping$' | sort | uniq -c | sort -nr | head -20
说明：
• grep -vE 使用扩展正则，一次性排除多类干扰；
• 锚点 ^ 和 $ 确保精确匹配路径，避免误杀（如排除 /api/healthz 时不会影响 /healthz）；
• 可根据实际业务追加规则，例如 | grep '^/api/' 聚焦接口层。
