真正防止死锁的关键是禁用同步阻塞行为并启用异步队列缓冲;需组合配置三类机制:关闭同步源头(如$ActionFileEnableSync off)、启用LinkedList队列(含磁盘缓存与超时)、限制重试资源消耗(如maxdiskspace与watermark)。

action.resumeRetryCount 本身不能防范物理死锁,它只是重试计数器;真正防止死锁(尤其是因远程不可达导致日志线程卡死)的关键,是禁用同步阻塞行为 + 启用异步队列缓冲。远端宕机时若未正确配置,rsyslog 默认会阻塞日志写入路径(尤其在 legacy 模式或误配 ActionQueueType="FixedArray" 且未设超时等场景),进而拖慢甚至冻结应用的 syslog() 调用,表现为“物理级卡顿”——这不是内核死锁,但效果类似:进程 hang 在 write() 系统调用上。
要彻底规避这一风险,必须组合配置以下三类机制:
✅ 必须关闭同步阻塞源头
rsyslog 默认对远程输出不做等待,但某些配置组合(如未启用队列却强制 action.resumeRetryCount、或使用 omfwd 配合 queue.type="Direct")会让主线程直连远端,失败即阻塞。应显式切断同步链路:
- 设置
$ActionFileEnableSync off(禁用文件输出同步刷盘) -
不使用
@host:514(UDP)以外的裸协议直连;TCP 远程转发必须绑定队列 - 若使用
imfile监控大日志文件,加PollingInterval="10"避免 inotify 飙高 CPU 导致调度延迟
✅ 必须启用内存优先的 LinkedList 队列
这是解耦日志生成与网络发送的核心:
-
queue.type="LinkedList":启用异步、可溢出到磁盘的混合队列(非 FixedArray 或 Direct) -
queue.filename="rsyslog_fwd":指定磁盘缓存前缀(触发自动落盘) -
queue.size="100000":内存缓冲上限(默认仅 1000,极易溢出卡住) -
queue.timeoutenqueue="1000":入队超时 1 秒,超时则丢弃(防死等) -
queue.workerthreads="4":多线程消费,避免单线程积压
⚠️ 注意:
action.resumeRetryCount "-1"只有在上述队列启用后才生效。单独设置它,等于给一辆没油的车装满油表——日志早已在无队列状态下被丢弃或阻塞。
✅ 必须限制重试行为的资源消耗
无限重试(-1)虽保日志不丢,但若远端长期不可达,可能堆积大量待发日志,耗尽内存或磁盘。需配套节流:
-
queue.maxdiskspace="2g":限制磁盘队列总空间,满则按 FIFO 丢弃最老条目 -
action.reportSuspension="on":记录连接中断事件,便于监控告警 -
queue.discardseverity="6":仅允许丢弃 info 级别及以下日志(不丢 warning/error) -
queue.highwatermark="80000"+queue.lowwatermark="20000":控制内存↔磁盘换入换出节奏,避免抖动
✅ 验证是否真已解除阻塞
配置完成后,执行压力测试:
# 持续发日志,同时关掉远端服务或拦截端口
for i in {1..50000}; do logger "test log $i at $(date +%s)"; done &
# 观察本地系统负载与日志延迟
tail -f /var/log/messages | grep "test log" # 应持续快速输出,无卡顿
ls -lh /var/lib/rsyslog/rsyslog_fwd*.qi # 出现文件说明磁盘队列已激活不复杂但容易忽略:死锁感来自同步 IO 和无缓冲直连。只要队列跑起来、超时设到位、同步关干净,远端宕机只会让日志安静躺在 /var/lib/rsyslog/ 里,等恢复后自动续传——本地一切照常。

















