讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

updream

一键生成高质量推广成片

Linux 日志集中收集与分析实践

千涛姑娘_2174

千涛姑娘_2174

发布时间:2026-02-23 16:15:10

|

892人浏览过

|

来源于php中文网

原创

rsyslog 转发日志丢数据主因是默认 UDP 无确认机制,需改 TCP(@@)并配磁盘队列;journald 日志进不了集中系统因 ForwardToSyslog 未启用或 syslog-ng/ rsyslog 未正确加载 journal 源;filebeat 解析 Nginx 日志需 dissect 精确匹配格式;Logstash filter 性能低多因 grok 过载、未设 worker 数或缺失 geoip 缓存。

linux 日志集中收集与分析实践

为什么 rsyslog 转发日志到 syslog-ng 会丢数据?

rsyslog 默认用 UDP 转发,没确认机制,网络抖动或目标忙时直接丢包。生产环境必须切 TCP,并配缓冲队列。

  • 启用 TCP:在 rsyslog.conf 中改 <em>.</em> @@192.168.1.100:514(两个 @ 表示 TCP)
  • 开启磁盘队列防崩:$ActionQueueType Disk + $ActionQueueFileName rsyslog_queue
  • 限制队列大小避免占满磁盘:$ActionQueueMaxDiskSpace 1g
  • syslog-ng 端要监听 TCP:source s_network { network(ip(0.0.0.0) port(514) transport(tcp)); };

常见错误是只改了 rsyslog 的协议,但 syslog-ng 还卡在 UDP 模式,收不到任何东西。

journalctl 日志进不了集中系统?查这三处

systemd-journald 默认不转发日志给 rsyslog 或 syslog-ng,得手动打通。

  • 确认 /etc/systemd/journald.conf 中 ForwardToSyslog=yes 已开启(注意不是 yes 小写,大写会无效)
  • 检查 syslog-ng 是否加载了 systemd-journal 源:source s_journald { systemd-journal(); };
  • 若用 rsyslog,需装 rsyslog-gnutls 和 rsyslog-mmjsonparse 插件,否则 JSON 格式日志解析失败,字段全丢

典型现象是 journalctl -u nginx 能看到日志,但 Kibana 里查不到 —— 很可能只是 journald 和 syslog 层没连通。

Linux Security Scanner
Linux Security Scanner

Linux 安全审计工具,检查 SSH 配置、开放/监听端口、防火墙规则(ufw/iptables/nftables)、失败登录尝试、sudoers 权限...

下载

用 filebeat 收集 Nginx access.log 时字段全空?

filebeat 默认按行读日志,但 Nginx access log 是空格分隔的结构化文本,不配 dissect 或 grok 解析器,message 字段就是一整行字符串,status、response_time 全不存在。

  • 在 filebeat.yml 的 processors 下加 dissect:
    </li><li>dissect:
    tokenizer: "%{clientip} - %{ident} %{auth} [%{timestamp}] \"%{method} %{url} %{protocol}\" %{status} %{size} \"%{referrer}\" \"%{useragent}\""
  • 时间戳要转成 @timestamp:- convert_timezone: {field: timestamp, from: "UTC", to: "UTC"}
  • 注意 Nginx 日志格式是否含额外字段(如 request_time),tokenizer 必须严格对齐,少一个 %{...} 就整条解析失败,字段全空

别信网上抄来的通用 grok pattern,Nginx 配置里 log_format 改过一行,pattern 就得重调。

Logstash filter 性能卡在 500 events/sec?先看这个配置

logstash 吞吐瓶颈常出在 filter 阶段,尤其用 grok 匹配复杂正则时,CPU 占满也跑不满。

  • 把 grok 放在 if [type] == "nginx" 条件块里,避免对所有日志都执行
  • 关闭 break_on_match => false(默认 true),匹配成功就停,别硬扫完全部 pattern
  • 用 dissect 替代 grok:只要日志格式固定,dissect 性能高 5–10 倍,且无回溯风险
  • geoip 查询必须加 cache_size => 1000,否则每次请求都查库,IO 直接拖垮

最常被忽略的是:Logstash 启动时没加 -w 4(worker 数),默认只用 1 个线程,再怎么优化 filter 也白搭。

热门AI工具

更多
墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
nginx 重启
nginx 重启

nginx重启对于网站的运维来说是非常重要的,根据不同的需求,可以选择简单重启、平滑重启或定时重启等方式。本专题为大家提供nginx重启的相关的文章、下载、课程内容,供大家免费下载体验。

423

2023.07.27

nginx 配置详解
nginx 配置详解

Nginx的配置是指设置和调整Nginx服务器的行为和功能的过程。通过配置文件,可以定义虚拟主机、HTTP请求处理、反向代理、缓存和负载均衡等功能。Nginx的配置语法简洁而强大,允许管理员根据自己的需要进行灵活的调整。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4127

2023.08.04

nginx配置详解
nginx配置详解

NGINX与其他服务类似,因为它具有以特定格式编写的基于文本的配置文件。本专题为大家提供nginx配置相关的文章,大家可以免费学习。

6985

2023.08.04

tomcat和nginx有哪些区别
tomcat和nginx有哪些区别

tomcat和nginx的区别:1、应用领域;2、性能;3、功能;4、配置;5、安全性;6、扩展性;7、部署复杂性;8、社区支持;9、成本;10、日志管理。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

601

2024.02.23

nginx报404怎么解决
nginx报404怎么解决

当访问 nginx 网页服务器时遇到 404 错误,表明服务器无法找到请求资源,可以通过以下步骤解决:1. 检查文件是否存在且路径正确;2. 检查文件权限并更改为 644 或 755;3. 检查 nginx 配置,确保根目录设置正确、没有冲突配置等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1516

2024.07.09

Nginx报404错误解决方法
Nginx报404错误解决方法

解决方法:只需要加上这段配置:try_files $uri $uri/ /index.html;即可。想了解更多Nginx的相关内容,可以阅读本专题下面的文章。

3998

2024.08.07

nginx部署php项目教程汇总
nginx部署php项目教程汇总

本专题整合了nginx部署php项目教程汇总,阅读专题下面的文章了解更多详细内容。

122

2026.01.13

nginx配置文件详细教程
nginx配置文件详细教程

本专题整合了nginx配置文件相关教程详细汇总,阅读专题下面的文章了解更多详细内容。

577

2026.01.13

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn