讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 日志量失控的治理方法

风丽吖_1211

风丽吖_1211

发布时间:2026-02-25 12:52:02

|

445人浏览过

|

来源于php中文网

原创

日志重复打印的根本原因是logger.propagate=True且重复添加handler,导致日志被root和自定义handler各输出一次;应设propagate=False或统一用dictConfig管理。

python 日志量失控的治理方法

日志重复打印:为什么 logger.info() 会输出两遍?

根本原因不是代码写错了,而是 logging.getLogger() 返回的 logger 默认自带一个 root handler,而你又手动 addHandler() 了一次。结果同一条日志被 root 和自定义 handler 各刷一遍。

  • 每次调用 getLogger("myapp") 都返回同一个 logger 实例,但它的传播(propagate)默认是 True,会把日志往上传到 root logger
  • 如果没显式关闭 propagation,又给它加了 handler,就等于“本地打一次 + root 再打一次”
  • 常见触发场景:模块里反复调用 getLogger(<strong>name</strong>) 并配置 handler,尤其在 import 时执行初始化逻辑

解决方法很简单:

  • logger.propagate = False(推荐,干净利落)
  • 或者不用 basicConfig(),改用 dictConfig() 统一管控 root 和子 logger
  • 不要在一个模块里既调用 basicConfig() 又自己 addHandler()

日志文件爆炸:RotatingFileHandler 为啥越滚越大?

不是轮转失效,而是默认参数太宽松:maxBytes=0(不触发切割)、backupCount=0(不清理旧文件)。很多项目直接复制示例代码,忘了改这俩值。

  • maxBytes 设太小(比如 1KB)会导致频繁切文件,IO 开销大;设太大(比如 100MB)又起不到控量作用
  • backupCount 控制保留几个历史文件,设为 0 就等于只写一个文件,永远不删
  • 注意:Windows 下文件重命名可能失败,导致轮转卡住,此时日志会静默丢弃(无报错),看起来像“不写了”

建议配置:

立即学习“Python免费学习笔记(深入)”;

361SCAN security check your skill python scripts
361SCAN security check your skill python scripts

扫描并分析已安装技能,用于查看指定技能目录的名称、描述和详情,或列出所有已安装的技能。

下载
  • maxBytes=10_485_760(10MB)比较平衡
  • backupCount=5 足够查最近问题,又不占太多磁盘
  • 加上 delay=True,避免启动时就创建空日志文件

异步/多进程下日志错乱:print() 式写法扛不住

用 print() 或直接写文件对象,在并发场景下必然出问题:内容粘连、换行丢失、甚至写入截断。logging 模块本身线程安全,但多进程不默认支持。

  • RotatingFileHandler 在多进程下不是原子的,两个进程同时触发轮转,可能删掉对方的备份文件
  • 异步框架(如 FastAPI + uvicorn)里,如果在协程里用同步 handler,会阻塞 event loop
  • 真正安全的做法只有两种:用 QueueHandler + QueueListener 把日志转发到单独线程处理;或者用支持多进程的第三方方案(如 concurrent-log-handler)

简单项目可先这样兜底:

  • 确保所有日志都走 logging 接口,别混用 print()
  • 多进程部署时,让每个 worker 写独立文件(比如加 os.getpid() 到文件名)
  • 不要指望 FileHandler 自己搞定跨进程同步

DEBUG 日志泄露:为什么生产环境还在打 SQL 和请求体?

不是没关 DEBUG,而是 logger 级别和 handler 级别是两套开关。比如 logger.setLevel(logging.DEBUG),但 handler 设了 setLevel(logging.WARNING),看起来该过滤,实际仍可能漏——因为某些库(如 sqlalchemy)会用自己的 logger,且默认传播到 root。

  • Django、Flask、SQLAlchemy 这些框架内部 logger 名字固定(如 "sqlalchemy.engine"、"urllib3"),必须显式禁用或调级
  • logging.disable(logging.DEBUG) 是全局开关,但会关掉所有 DEBUG,包括你真正需要的调试信息
  • 更隐蔽的是:某些包在 import 时就注册了 handler,比你的配置还早执行

稳妥做法:

  • 在应用启动最开头就调用 logging.getLogger("sqlalchemy.engine").setLevel(logging.WARNING)
  • 用 logging.getLogger().handlers = [] 清掉 root 的默认 handler,再从头配
  • 生产环境配置里加一句:logging.getLogger("urllib3").setLevel(logging.WARNING)

日志量失控从来不是单一配置点的问题,而是 logger 层级、handler 行为、第三方库默认策略、运行时环境四者叠加的结果。最容易被忽略的,是以为“配了 logger 就万事大吉”,却没检查它实际发往哪里、被谁接收、又被谁二次传播。

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4503

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

931

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1189

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6461

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

3243

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6420

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8801

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1190

2024.04.29

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn