讲师中心 微信公众号

工具推荐

视频效率加速
SoundView
SoundView

字幕擦除翻译、配音口型同步

updream

一键生成高质量推广成片

AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

Nginx日志推送到ELK远程集中化管理方案

浅伟吖_2727

浅伟吖_2727

发布时间:2026-03-19 11:53:02

|

676人浏览过

|

来源于php中文网

原创

Nginx日志推送到ELK需四步:一、标准化JSON日志格式;二、用Filebeat轻量采集并直解析;三、Logstash清洗字段类型、提取URL要素、分类状态码;四、ES按天索引+ILM管理,Kibana建仪表板与地理可视化。

nginx日志推送到elk远程集中化管理方案

将Nginx日志推送到ELK(Elasticsearch + Logstash + Kibana)实现远程集中化管理,核心在于:日志采集不侵入业务、传输可靠、解析准确、存储可查。关键不是“能不能传”,而是“怎么传得稳、查得准、扩得开”。

一、Nginx日志格式标准化是前提

Logstash或Filebeat依赖固定字段解析日志。若Nginx使用默认 log_format,字段缺失(如响应时间、上游地址、请求体大小)会导致后续分析受限。

建议在 nginx.conf 的 http 块中定义结构化日志格式:

log_format main_json '{"@timestamp":"$time_iso8601",'
                      '"host":"$server_addr",'
                      '"clientip":"$remote_addr",'
                      '"size":$body_bytes_sent,'
                      '"responsetime":$request_time,'
                      '"upstreamtime":"$upstream_response_time",'
                      '"upstreamaddr":"$upstream_addr",'
                      '"http_host":"$host",'
                      '"url":"$uri",'
                      '"domain":"$host",'
                      '"xff":"$http_x_forwarded_for",'
                      '"referer":"$http_referer",'
                      '"agent":"$http_user_agent",'
                      '"status":"$status"}';
access_log /var/log/nginx/access.log main_json;

注意:
• 使用 $upstream_response_time 需确保 Nginx 有 upstream 配置且启用 proxy_pass;
• 若用 keepalive 或多 upstream,$upstream_addr 可能含多个地址,Logstash 中需用 split 处理;
• 时间字段统一用 $time_iso8601,避免时区/格式解析失败。

二、选择轻量可靠的日志采集器

不推荐直接让 Nginx 写入 TCP/UDP 到 Logstash(易丢日志、无缓冲、无重试)。主流方案有两种:

  • Filebeat(推荐):资源占用低、支持文件监控、断网自动缓存、内置 JSON 解析与字段提取,与 ELK 同源,配置简洁;
  • Fluentd(备选):插件生态丰富,适合混合日志源(如容器+宿主机),但内存占用略高。

Filebeat 示例(filebeat.yml):

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /var/log/nginx/access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  json.add_error_key: true
<p>output.logstash:
hosts: ["logstash-server:5044"]
loadbalance: true
ssl.enabled: false</p>

要点:
• 开启 json.keys_under_root 直接提升日志字段到顶层,免去 Logstash grok 解析;
• 生产环境建议启用 SSL 和证书校验;
• 若 Logstash 不可用,Filebeat 可临时写入本地磁盘队列(spool_size + queue.mem.events),保障不丢。

三、Logstash 做必要清洗与增强

即使用了 JSON 日志,仍需 Logstash 补充信息、过滤噪音、规范字段类型:

  • 把 responsetime 和 upstreamtime 转为数字类型(默认是字符串),否则 Kibana 无法做统计图表;
  • 从 url 或 uri 中提取 path、query、method(如用 dissect 或 kv 插件);
  • 对 status 做分类(2xx/3xx/4xx/5xx),便于聚合;
  • 丢弃健康检查日志(如 /health、/ping)、爬虫 UA、内部探测请求(加 if 判断)。

Logstash filter 示例片段:

filter {
  if [responsetime] { mutate { convert => { "responsetime" => "float" } } }
  if [upstreamtime] { mutate { convert => { "upstreamtime" => "float" } } }
  if [url] { dissect { mapping => { "url" => "%{method} %{path} %{query}" } } }
  mutate {
    add_field => { "http_status_group" => "%{status}" }
  }
  if [status] =~ /^2\d\d$/ { mutate { replace => { "http_status_group" => "2xx" } } }
  if [status] =~ /^4\d\d$/ { mutate { replace => { "http_status_group" => "4xx" } } }
  if [status] =~ /^5\d\d$/ { mutate { replace => { "http_status_group" => "5xx" } } }
}

四、Elasticsearch 索引策略与 Kibana 可视化落地

避免所有日志写进一个大索引。应按天滚动(如 nginx-access-2024.06.15),并设置 ILM(Index Lifecycle Management)自动删除旧数据。

Kibana 中建议创建:

  • 预设仪表板:QPS 曲线、状态码分布饼图、Top URL 响应时间、慢请求(responsetime > 2s)列表;
  • 自定义字段映射:对 clientip 做 geo_point(需配合 GeoIP 插件)、url 做 keyword 类型用于聚合;
  • 保存常用搜索:如 status:500 AND host:"api.example.com",方便快速定位故障。

小技巧:在 Kibana Discover 页面点击某个 clientip → “Add filter” → “Filter for value”,再点 “Save search”,下次可一键打开该 IP 的完整访问链路。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

笔灵降AI

一款AI论文写作工具,主要用于论文降AI神器,适配知网及维普!一键降至安全线,100%保留原文格式;无口语化问题,文风更学术,降后字数控制最佳!,适合需要提升相关任务效率的用户。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4347

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

7265

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

601

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1516

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3998

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

617

2026.01.13

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

0

2026.11.17

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn