讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

剧云
剧云

中文短剧剧本制作平台

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Laper
Laper

剧本策划到成片协作

Python错误日志归档策略_长期运维实践技巧【技巧】

星涛大大_3041

星涛大大_3041

发布时间:2025-12-25 20:36:09

|

649人浏览过

|

来源于php中文网

原创

必须选 TimedRotatingFileHandler,并设 when='midnight'、utc=True、delay=True、suffix='%Y-%m-%d'、backupCount=30;错误日志需单独 logger 并设 propagate=False;归档交由 logrotate 处理,启用 copytruncate 和 dateext;时区须统一为 UTC 或显式配置,确保时间戳对齐。

python错误日志归档策略_长期运维实践技巧【技巧】

日志文件按天轮转但不丢数据:用 RotatingFileHandler 还是 TimedRotatingFileHandler?

长期运行的 Python 服务,最常见问题是日志撑爆磁盘,或单个日志过大导致 grep 卡死、tail -f 失效。别直接上 RotatingFileHandler——它按大小切分,容易在凌晨流量高峰时突然切出几十个 .1、.2 文件,且无法保证“每天一个文件”。必须选 TimedRotatingFileHandler,并严格设置 when='midnight' 和 backupCount。

关键细节:

  • utc=True 必须开启,否则跨夏令时可能漏切或重复切(尤其部署在海外服务器时)
  • delay=True 推迟文件打开,避免启动时因目录不存在报 FileNotFoundError
  • 文件名后缀用 %Y-%m-%d 而非默认的 %Y-%m-%d_%H-%M-%S,否则每天生成多个文件
  • backupCount=30 表示最多保留 30 天,超出的自动删除;设为 0 则不删,务必警惕
import logging
from logging.handlers import TimedRotatingFileHandler
<p>handler = TimedRotatingFileHandler(
filename='/var/log/myapp/app.log',
when='midnight',
interval=1,
backupCount=30,
encoding='utf-8',
utc=True,
delay=True
)
handler.suffix = '%Y-%m-%d'  # 关键:去掉时分秒</p>

错误日志单独归档:为什么不能只靠 level 过滤?

仅用 logger.setLevel(logging.ERROR) 会导致 WARNING 及以上全进同一个文件,但运维真正要盯的是 ERROR 和 CRITICAL,WARNING 往往是可恢复的临时抖动。必须拆流:让 ERROR+CRITICAL 写入 error.log,其余写入 app.log。

陷阱在于:Python 日志器默认把子 logger 的日志向上冒泡到 root,结果 ERROR 日志在两个文件里各出现一次。解决方法是关掉 propagate:

立即学习“Python免费学习笔记(深入)”;

CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)
CMIC Skill Scanner (BCLinux 21 / 低版本 glibc Linux x64)

使用内置 Rust 引擎审计待安装的 skill 包或归档,可选桥接外部扫描器。

下载
  • 给 error handler 绑定的 logger 设置 propagate=False
  • 确保两个 handler 的 level 不重叠(如 app handler 设 INFO,error handler 设 ERROR)
  • 避免在同一个 logger 上加多个 handler 后又没控制好 level,引发重复写入
error_logger = logging.getLogger('error_only')
error_logger.setLevel(logging.ERROR)
error_logger.propagate = False  # 关键:阻断冒泡
<p>error_handler = TimedRotatingFileHandler(
'/var/log/myapp/error.log',
when='midnight',
backupCount=30,
utc=True
)
error_handler.setLevel(logging.ERROR)
error_logger.addHandler(error_handler)</p>

归档后压缩与清理:Linux logrotate 和 Python 自处理谁更稳?

Python 自己做压缩(比如用 zipfile 处理旧日志)风险高:进程可能被 kill 导致压缩中断,留下损坏的 zip;或压缩时占满 I/O,拖慢主业务。生产环境一律交给系统级 logrotate,Python 只管生成带日期的原始文件。

logrotate 配置要点:

  • 用 dateext + dateformat %Y-%m-%d 匹配 Python 生成的文件名格式
  • compress 开启 gzip 压缩,比 Python 的 zipfile 更轻量、更可靠
  • maxage 90 比 backupCount 更准——按文件修改时间算,不是按轮转次数
  • 务必加 copytruncate:logrotate 先拷贝再清空原文件,避免 Python 因文件被 mv 而写失败
/var/log/myapp/*.log {
    daily
    dateext
    dateformat -%Y-%m-%d
    compress
    maxage 90
    missingok
    copytruncate
    create 644 root root
}

线上查错时找不到对应日志:时间戳对不上怎么办?

现象:告警显示 “2024-05-20 03:17:22 ERROR”,但翻遍 app.log.2024-05-20 和 app.log.2024-05-19 都没这条记录。大概率是 Python 进程时区和系统时区不一致。

根本原因:TimedRotatingFileHandler 默认用 time.localtime(),而系统日志(dmesg、journalctl)用 UTC 或本地时区。解决方案只有两个:

  • 所有机器统一设为 UTC 时区(推荐),然后 Python 里显式用 utc=True,日志时间戳就是纯 UTC,和系统日志对齐
  • 若必须用本地时区,则 Python 启动前执行 export TZ=Asia/Shanghai,且确认 timedatectl status 输出的时区和它一致
  • 绝对不要依赖 datetime.now().strftime() 手动拼日志行——绕过 logging 模块的时间控制,会彻底失去轮转能力

时区不对的日志,归档策略再完美也白搭。上线前第一件事:跑 python -c "import time; print(time.strftime('%Z %z'))" 和 timedatectl 对两遍。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3440

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

scripterror怎么解决
scripterror怎么解决

scripterror的解决办法有检查语法、文件路径、检查网络连接、浏览器兼容性、使用try-catch语句、使用开发者工具进行调试、更新浏览器和JavaScript库或寻求专业帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1069

2023.10.18

500error怎么解决
500error怎么解决

500error的解决办法有检查服务器日志、检查代码、检查服务器配置、更新软件版本、重新启动服务、调试代码和寻求帮助等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

3480

2023.10.25

磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4530

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3793

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

3113

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7730

2023.07.05

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn