讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 日志系统与监控的结合实践

酷敏君_5759

酷敏君_5759

发布时间:2026-02-15 18:43:02

|

147人浏览过

|

来源于php中文网

原创

logging.getLogger() 返回的实例在多进程里不共享,因子进程会重新初始化日志系统,导致父进程配置的处理器失效或冲突;需在子进程单独配置或使用 QueueHandler + QueueListener。

python 日志系统与监控的结合实践

为什么 logging.getLogger() 返回的实例在多进程里不共享

Python 的 logging 模块本身不是进程安全的,getLogger() 拿到的是当前进程内的对象,子进程会重新初始化日志系统,导致父进程配置的日志处理器(比如文件写入、网络发送)在子进程中失效或重复触发。

常见错误现象:INFO 级别日志在主进程能写入文件,fork 出的子进程却完全没输出,或者多个子进程同时往同一个文件写导致内容错乱。

  • 使用 multiprocessing 时,应在每个子进程启动后单独调用 logging.basicConfig() 或重建 Handler,不要复用父进程的 logger 实例
  • 若需集中收集日志,推荐改用 QueueHandler + QueueListener:子进程只往队列发日志,由单独监听线程统一处理
  • 避免在子进程中调用 logging.basicConfig() 多次——它默认有“仅首次生效”逻辑,但不同进程间互不影响,容易误以为配置成功

如何让日志自动带上 trace_id 支持监控链路追踪

标准 Formatter 不知道当前请求上下文,必须靠 LogRecord 动态注入字段。Django/Flask 等框架有中间件支持,但纯 logging 需手动绑定。

使用场景:排查线上某个请求耗时高,需要从 Prometheus/Grafana 查到对应日志;或 ELK 中按 trace_id 聚合全部相关日志行。

立即学习“Python免费学习笔记(深入)”;

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  • 用 LoggerAdapter 包裹 logger,通过 extra 参数传入 trace_id,再在 Formatter 的 format() 中读取 record.trace_id
  • 别直接修改 record.__dict__ —— 某些 handler(如 SocketHandler)序列化时会丢掉自定义字段
  • 如果用 structlog,优先走它的绑定机制(bind()),比原生 logging 更稳
adapter = logging.LoggerAdapter(logger, {"trace_id": "abc123"})
adapter.info("user login")  # 输出含 trace_id 的日志行

logging + Prometheus 的典型集成方式有哪些

日志本身不是指标,但日志量、错误率、响应延迟分布这些可以从日志里提取出来喂给 Prometheus。关键不是“把日志塞进 Prometheus”,而是选对采集层和聚合逻辑。

性能影响:每条日志都实时解析并上报 Counter 是灾难性的,应避免在业务线程中做正则匹配+HTTP 上报。

  • 用 filebeat 或 fluent-bit 做日志采集,在采集端用 grok 过滤出 status_code、duration_ms 等字段,再通过 prometheus_exporter 插件暴露指标
  • 如果必须代码内埋点,用 prometheus_client.Counter 统计错误次数,但只在关键路径上 .inc(),别在每条 info 日志后加一句
  • 注意时间窗口:日志打点时间和指标采集时间不同步,Prometheus 抓取间隔设为 15s 时,rate(http_errors_total[1m]) 可能漏掉短突发

为什么日志文件没滚动、磁盘爆满却没报错

RotatingFileHandler 默认不检查磁盘空间,只按大小或数量轮转;TimedRotatingFileHandler 在 Windows 下可能因文件锁无法删除旧文件;更隐蔽的是,backupCount=0 或 maxBytes=0 会让轮转彻底失效。

常见错误现象:日志目录占满 100GB,ls -l 显示只有单个 app.log 文件持续增长,app.log.1 等备份文件一个没有。

  • 确认 maxBytes > 0 且 backupCount > 0,例如 RotatingFileHandler(..., maxBytes=10485760, backupCount=5)
  • Linux 下检查是否有残留的 deleted 文件句柄:lsof | grep deleted | grep app.log,有就说明进程还在写已删文件,得重启服务
  • 别依赖 delay=True 来“延迟创建文件”——它只是推迟 open() 调用,不解决轮转逻辑问题

最麻烦的情况是日志路径权限不对,handler 静默失败,连 ERROR 都打不出来。上线前务必用 touch /path/to/log/app.log && chmod 644 $_ 手动验证可写性。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

创客贴AI

创客贴AI是一款AI图像与设计工具,AI辅助的智能在线设计工具。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Python Web 框架 Django 深度开发
Python Web 框架 Django 深度开发

本专题系统讲解 Python Django 框架的核心功能与进阶开发技巧,包括 Django 项目结构、数据库模型与迁移、视图与模板渲染、表单与认证管理、RESTful API 开发、Django 中间件与缓存优化、部署与性能调优。通过实战案例,帮助学习者掌握 使用 Django 快速构建功能全面的 Web 应用与全栈开发能力。

593

2026.02.04

Python Django REST Framework接口安全与认证体系实践
Python Django REST Framework接口安全与认证体系实践

本专题围绕 Django REST Framework 展开,深入讲解 API 认证、JWT 鉴权、权限控制、接口安全防护以及防攻击策略设计。通过完整后端案例,帮助开发者构建安全可靠的 Web API 服务体系。

260

2026.06.29

flask框架如何搭建
flask框架如何搭建

搭建步骤:1、安装Python和Pip;2、创建虚拟环境;3、安装Flask;4、创建Flask应用;5、运行应用;6、访问应用。想了解更多flask框架的相关内容,可以阅读本专题下面的文章。

4195

2024.06.27

Python Flask框架
Python Flask框架

本专题专注于 Python 轻量级 Web 框架 Flask 的学习与实战,内容涵盖路由与视图、模板渲染、表单处理、数据库集成、用户认证以及RESTful API 开发。通过博客系统、任务管理工具与微服务接口等项目实战,帮助学员掌握 Flask 在快速构建小型到中型 Web 应用中的核心技能。

6484

2025.08.25

Python Flask Web框架与API开发
Python Flask Web框架与API开发

本专题系统介绍 Python Flask Web框架的基础与进阶应用,包括Flask路由、请求与响应、模板渲染、表单处理、安全性加固、数据库集成(SQLAlchemy)、以及使用Flask构建 RESTful API 服务。通过多个实战项目,帮助学习者掌握使用 Flask 开发高效、可扩展的 Web 应用与 API。

336

2025.12.15

什么是中间件
什么是中间件

中间件是一种软件组件,充当不兼容组件之间的桥梁,提供额外服务,例如集成异构系统、提供常用服务、提高应用程序性能,以及简化应用程序开发。想了解更多中间件的相关内容,可以阅读本专题下面的文章。

709

2024.05.11

Golang 中间件开发与微服务架构
Golang 中间件开发与微服务架构

本专题系统讲解 Golang 在微服务架构中的中间件开发,包括日志处理、限流与熔断、认证与授权、服务监控、API 网关设计等常见中间件功能的实现。通过实战项目,帮助开发者理解如何使用 Go 编写高效、可扩展的中间件组件,并在微服务环境中进行灵活部署与管理。

644

2025.12.18

ThinkPHP中间件机制与请求拦截处理实践
ThinkPHP中间件机制与请求拦截处理实践

本专题围绕 ThinkPHP 中间件体系展开,深入讲解中间件的定义、注册与执行流程。内容包括全局中间件与路由中间件的区别、请求前后处理逻辑、自定义中间件开发以及权限验证与日志处理应用。通过实际案例,帮助开发者掌握中间件在项目中的核心作用与最佳实践。

458

2026.03.31

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

0

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn