Logstash 可高效实时解析 Nginx 日志，核心是通过 input 读取、filter（grok/dissect/json）精准解析、output 输出，需严格匹配 Nginx 日志格式（如默认 main 格式），并配合 date、dissect 等插件完善字段与时间处理。
Logstash 可以高效地实时解析 Nginx 日志，关键在于正确配置 input（读取日志）、filter（解析字段）和 output（输出结果）三部分，其中核心是用 grok 过滤器匹配 Nginx 的默认或自定义日志格式。
确认并复现 Nginx 日志格式
Nginx 默认的 log_format 是：
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';Logstash 的 grok 模式必须与该格式严格对齐。若你修改过日志格式（比如添加了 $request_time 或使用 JSON 格式），需同步更新 grok 表达式或改用 dissect/json 插件。
编写 Logstash filter 使用 grok 解析字段
在 Logstash 配置的 filter 区块中，用 grok 提取关键字段。以下是一个匹配默认 main 格式的典型配置：
filter {
grok {
match => { "message" => "%{IPORHOST:remote_ip} - %{DATA:remote_user} \[%{HTTPDATE:time_local}\] \"%{WORD:http_method} %{DATA:request} %{DATA:http_version}\" %{NUMBER:status:int} %{NUMBER:body_bytes_sent:int} \"%{DATA:http_referer}\" \"%{DATA:user_agent}\" \"%{DATA:x_forwarded_for}\"" }
}
# 可选：将时间字符串转为 @timestamp 字段
date {
match => [ "time_local", "dd/MMM/yyyy:HH:mm:ss Z" ]
target => "@timestamp"
}
# 可选：解析 URL 中的路径和参数
if [request] {
dissect {
mapping => { "request" => "%{http_verb} %{path} %{http_protocol}" }
}
}
}-
%{IPORHOST:remote_ip}提取客户端 IP（兼容 IPv6 和主机名） -
%{HTTPDATE:time_local}自动识别 Nginx 时间格式（如10/Jan/2024:14:22:05 +0800） -
%{NUMBER:status:int}将状态码转为整型，便于后续聚合 -
date插件确保@timestamp正确反映日志实际发生时间，而非 Logstash 接收时间
配置 input 实时读取日志文件
推荐使用 file 输入插件配合 sincedb_path 实现断点续读：
input {
file {
path => "/var/log/nginx/access.log"
start_position => "end"
sincedb_path => "/var/lib/logstash/sincedb_nginx"
ignore_older => 86400 # 忽略 24 小时前的文件（防历史轮转日志干扰）
tags => ["nginx-access"]
}
}-
start_position => "end"避免首次启动时重读全部历史日志 -
sincedb_path指定独立数据库路径，防止多个 Logstash 实例冲突 - 如需监听多个文件（如 access.log 和 error.log），可写多个
file块并用tags区分处理逻辑
验证与调试技巧
开发阶段务必开启 stdout 输出并启用 rubydebug 查看解析效果：
output {
stdout {
codec => rubydebug
}
# 生产环境替换为 elasticsearch / kafka 等
elasticsearch {
hosts => ["http://es-host:9200"]
index => "nginx-access-%{+YYYY.MM.dd}"
}
}- 先用小量日志测试，观察
rubydebug输出中是否生成remote_ip、status、request等字段 - 若某字段为空，检查 grok 表达式是否与实际日志字符完全匹配（注意空格、引号、中括号是否转义）
- 利用 Grok Debugger 在线工具快速验证正则表达式
