讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

立刻MV
立刻MV

低成本歌曲 MV、视频生成

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

怎么在Linux利用Logrotate配置针对TB级大日志的非阻塞式切分保存

陌静吖_2080

陌静吖_2080

发布时间:2026-05-31 10:09:54

|

633人浏览过

|

来源于php中文网

原创

TB级日志轮转关键在于非阻塞:需以size为首要触发条件(如size 5G)、禁用copytruncate、用postrotate精准发信号重开日志、归档分层控制(delaycompress+olddir),并支持强制轮转与实时监控。

怎么在linux利用logrotate配置针对tb级大日志的非阻塞式切分保存

针对TB级大日志,关键不是“能不能切”,而是“切时不中断写入、不丢日志、不卡服务、不压垮磁盘IO”。logrotate 本身不阻塞应用,但配置不当会引发风险——比如没发信号通知重开日志,或用了 copytruncate 却忽略其清空原文件的副作用。真正实现非阻塞式切分,需同时满足:轮转触发精准(避免等周期)、切割动作原子(不挪动活跃文件)、服务感知及时(立刻切换写入目标)、归档清理可控(防磁盘夯住)。

用 size + postrotate 替代时间周期

TB级日志意味着单个文件可能几小时就涨到上百GB。依赖 daily 或 weekly 完全不可控,极易在轮转前撑爆磁盘。必须以大小为第一触发条件,且设置合理阈值:

  • size 5G:比单次写入峰值高1.5倍以上,避免高频轮转;不建议设过小(如100M),否则每分钟都切,postrotate频繁调用 kill -USR1 可能打满进程表
  • 去掉 daily 或 weekly ——它们与 size 共存时,size 优先,但冗余声明易引发误判
  • 加 maxsize 10G(可选):作为兜底,防止某次写入突发暴涨直接跳过 size 阈值

确保应用立即重定向写入新文件

轮转后若应用还在往旧文件句柄写,新日志就丢了。必须靠 postrotate 发送正确信号,且目标服务要支持该信号重开日志:

CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)
CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)

使用内置 Rust 引擎审计待安装的 skill 包或归档,可选桥接外部扫描器。

下载
  • Nginx / OpenResty:systemctl kill -s USR1 nginx 或 kill -USR1 $(cat /var/run/nginx.pid)
  • rsyslog:systemctl kill -s HUP rsyslog(新版支持 USR1,老版用 HUP)
  • 自研 Java/Python 服务:需在代码中监听 SIGHUP 或 USR1,主动 close+reopen 日志文件;不能依赖 copytruncate
  • 禁用 copytruncate:它看似“不移动文件”,实则是复制+清空原文件,对TB级文件复制耗时长、IO高、且清空瞬间可能丢失正在 flush 的缓冲日志

归档压缩与清理必须分层控制

TB级日志归档后仍占空间巨大,压缩和删除策略要错峰、限速、留余量:

  • compress 必开,但搭配 delaycompress:最新一轮不压,留出窗口做快速回溯;上一轮才 gzip,避免每次轮转都触发高压压缩
  • rotate 30 是底线,实际建议 rotate 90:TB级场景下,保留三个月原始日志(压缩后)更稳妥,便于审计与长周期问题定位
  • 加 olddir /archive/logs:把归档文件移到独立大容量磁盘(如 /archive),主盘只留最近7天活跃日志,隔离IO压力
  • 避免 sharedscripts 用于多日志路径:若一个配置块里匹配多个文件(如 /var/log/app/*.log),postrotate 只执行一次,但每个文件轮转是独立的——确保信号能覆盖全部实例

验证与应急操作不依赖 cron

磁盘已近 95% 时,等 cron.daily 执行就晚了。必须能秒级介入:

  • 调试配置:logrotate -d /etc/logrotate.d/app-heavy 看是否识别到目标文件、是否触发 size 条件、postrotate 命令是否拼写正确
  • 强制轮转:logrotate -f /etc/logrotate.d/app-heavy 立即切割,观察 ls -lh /var/log/app/ 是否生成带日期的新归档,原文件是否变为空(说明信号生效)
  • 监控配合:用 inotifywait -m /var/log/app/ -e moved_to 监听轮转事件,或定期检查 find /var/log/app/ -name "*.log*" -size +5G 报警

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4610

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3853

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

3193

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7910

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

7542

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

4273

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3745

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3999

2023.07.25

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

140

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn