讲师中心 微信公众号
AI工具推荐 视频效率加速

如何配置rsyslog的OMMySQL模块将企业级系统日志高并发无损写入结构化数据库

酷宇吖_6610

酷宇吖_6610

发布时间:2026-06-09 11:06:46

|

310人浏览过

|

来源于php中文网

原创

关键在于模块加载、连接健壮性、队列缓冲、表结构适配和错误兜底五环节协同:启用ommysql的TCP+TLS模式,配置磁盘队列与永久重试,使用官方createDB.sql建表并添加查询索引,最后通过语法检查、压测和故障注入闭环验证。

如何配置rsyslog的ommysql模块将企业级系统日志高并发无损写入结构化数据库

要让 rsyslog 的 ommysql 模块在企业级场景下高并发、无损地把日志写入 MySQL(或 MariaDB),关键不在“装上就完事”,而在于模块加载、连接健壮性、队列缓冲、表结构适配和错误兜底这五个环节的协同。配置本身不复杂,但漏掉任一环都可能导致日志丢失、服务卡顿或数据库写满。

确保 ommysql 模块正确加载并启用 TCP+TLS(非 UDP)

UDP 无连接、不可靠,企业环境必须禁用;TCP 才能保证顺序与重传,配合 TLS 更可防中间人窃听日志内容(尤其含认证字段时)。

  • 在 /etc/rsyslog.d/00-global.conf 或主配置开头显式加载模块:
    module(load="ommysql" mode="tcp" tls="on")
  • 确认模块已就位:
    ls /usr/lib64/rsyslog/ommysql.so(CentOS/RHEL)或 ls /usr/lib/rsyslog/ommysql.so(Debian/Ubuntu)
  • 检查是否支持 TLS:
    rsyslogd -N1 | grep -i tls,若无输出需重装带 GNUTLS 支持的 rsyslog 包(如 rsyslog-gnutls)

配置可靠传输队列,避免高并发压垮 MySQL

默认直连写入在突发日志洪峰(如批量重启、安全扫描触发大量 auth 日志)时极易超时丢弃。必须启用磁盘队列 + 异步提交。

  • 在 /etc/rsyslog.d/10-inputs.conf 中定义带队列的动作:

action(type="ommysql"<br>  server="192.168.10.5"<br>  serverport="3306"<br>  dbname="syslogs"<br>  user="rsyslog_writer"<br>  password="StrongPass@2026"<br>  template="RSYSLOG_SyslogProtocol23Format"<br>  queue.type="Disk"<br>  queue.filename="ommysql_queue"<br>  queue.maxdiskspace="2g"<br>  queue.saveonshutdown="on"<br>  queue.size="100000"<br>  action.resumeRetryCount="-1"<br>  action.reportSuspension="on"<br>)

  • queue.type="Disk" 是核心:内存队列(queue.type="LinkedList")在崩溃或重启时会清空,磁盘队列才真正“无损”
  • action.resumeRetryCount="-1" 表示永久重试(直到 MySQL 恢复),而非默认的 100 次后丢弃
  • queue.maxdiskspace 必须设上限,防止日志风暴占满磁盘(建议结合 logrotate 清理)

使用官方初始化表结构并添加关键索引

直接手建简单四字段表(id/timestamp/hostname/message)无法支撑千万级日志查询。必须用 rsyslog-mysql 包自带的 createDB.sql,它已预设分区、压缩和索引策略。

  • 定位脚本:
    rpm -ql rsyslog-mysql | grep createDB.sql(RPM 系统)或
    dpkg -L rsyslog-mysql | grep createDB.sql(Deb 系统)
  • 导入前创建专用库与用户:
    CREATE DATABASE syslogs CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
    CREATE USER 'rsyslog_writer'@'%' IDENTIFIED BY 'StrongPass@2026';
    GRANT INSERT,SELECT ON syslogs.* TO 'rsyslog_writer'@'%'; FLUSH PRIVILEGES;
  • 执行初始化:
    mysql -u root -p syslogs < /usr/share/doc/rsyslog-mysql/createDB.sql
  • 手动追加高频查询字段索引(提升按时间/主机/IP筛选速度):
    ALTER TABLE SystemEvents ADD INDEX idx_time_host (received_at, hostname);
    ALTER TABLE SystemEvents ADD INDEX idx_fromhost (fromhost_ip);

校验与持续监控:三步闭环验证

上线后不能只看“服务启动成功”,要验证真实路径是否通、压力下是否稳、异常时是否报。

  • 语法与模块检查:
    rsyslogd -N1(语法)、rsyslogd -M | grep ommysql(模块加载)、ss -tlnp | grep :514(端口监听)
  • 连通性压测:
    用 logger "test-$(date +%s)" 发送单条;再用脚本循环 1000 次:
    for i in {1..1000}; do logger "burst-$i"; done,然后查 MySQL:
    mysql -e "SELECT COUNT(*) FROM SystemEvents WHERE message LIKE '%burst%';" syslogs —— 数值必须等于 1000
  • 故障注入验证:
    临时停 MySQL:systemctl stop mariadb,发 100 条日志,再启 MySQL,观察 journalctl -u rsyslog -n 50 是否出现 resuming action... 及最终全部写入

热门AI工具

更多
超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

457

2023.08.15

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

920

2023.09.08

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2972

2023.09.19

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

996

2023.10.09

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

889

2023.10.17

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

454

2023.10.17

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2696

2023.10.18

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

5032

2023.10.20

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Redis中文开发手册
Redis中文开发手册

共0课时 | 0人学习

Suno v5.5 官方功能手册
Suno v5.5 官方功能手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn