讲师中心 微信公众号
AI工具推荐 视频效率加速

logging 如何实现按进程/线程 ID 分离日志

浅晨吖_8063

浅晨吖_8063

发布时间:2026-01-28 19:53:02

|

936人浏览过

|

来源于php中文网

原创

默认 logging 不按进程/线程 ID 分离日志,因其 Handler 全局共享且 Formatter 默认不注入上下文信息;需自定义 Formatter 在 format() 中动态设 record.pid 和 record.tid,并避免多进程共用 FileHandler。

logging 如何实现按进程/线程 id 分离日志

为什么默认的 logging 不会自动按进程/线程 ID 分离日志

因为 logging 的 Handler 是全局共享的,同一 Logger 实例在多线程或多进程下共用输出通道,Formatter 里若不显式注入上下文信息(如 threading.get_ident() 或 os.getpid()),所有日志行看起来完全一样。你看到的日志混在一起,不是框架“错了”,而是它默认不带这个维度。

如何在 Formatter 中动态插入线程/进程 ID

核心是自定义 Formatter,重写 format() 方法,在日志记录生成前注入标识。注意:不能直接用 %(thread)d 这类内置格式符——它只在主线程有效,子线程中可能为 0;也不能依赖 %(process)d 在 fork 后的多进程场景中保持稳定(尤其 Windows 上)。

  • 用 threading.current_thread().ident 替代 %(thread)d,确保子线程 ID 可靠
  • 用 os.getpid() 获取当前进程 ID,比 %(process)d 更直接、跨平台一致
  • 把它们塞进 record 的 __dict__,再在 fmt 字符串里引用,例如:%(pid)s [%(tid)s]
import logging
import threading
import os

class PIDTIDFormatter(logging.Formatter):
    def format(self, record):
        record.pid = os.getpid()
        record.tid = threading.current_thread().ident
        return super().format(record)

handler = logging.StreamHandler()
handler.setFormatter(PIDTIDFormatter('%(asctime)s %(pid)s [%(tid)s] %(levelname)s %(message)s'))

多进程下单独写文件时要注意什么

如果目标是“每个进程写独立日志文件”,不能让多个进程打开同一个 FileHandler(会冲突或丢失日志)。必须在子进程启动后、首次获取 Logger 前,动态创建带进程 ID 的 handler。

Windows-Android_SSH_Remote_Control
Windows-Android_SSH_Remote_Control

通过 SSH 隧道从 Android 设备在互联网上对 Windows PC 实现完整远程控制的设置与使用指南,适用于远程桌面访问、安全 RDP 等。

下载
  • 避免在主进程预设 FileHandler 并传递给子进程——fork 后 fd 可能被共享,导致写入错乱
  • 推荐在子进程入口处调用 logging.getLogger().handlers.clear(),再添加新 FileHandler('app_{}.log'.format(os.getpid()))
  • 若用 multiprocessing.Process,可在 run() 开头做 handler 初始化;若用 concurrent.futures.ProcessPoolExecutor,需改用 initializer + 全局 logger 配置

线程安全与 formatter 实例复用是否冲突

一个 Formatter 实例可以被多个线程共用,没问题——format() 是无状态的,每次调用都基于传入的 record 独立处理。但切记:不要在 format() 中修改 record 以外的共享对象(比如全局 dict 缓存 tid→name 映射),否则可能引发竞态。

另外,如果你用 logging.basicConfig(),它设置的是 root logger 的 handler,而子模块 get 的 logger 默认 propagate,所以最终还是走同一套 handler。要隔离,就得在各模块或各进程内显式配置自己的 handler,而不是依赖 basicConfig 一次配全。

真正麻烦的从来不是加个 ID,而是确保这个 ID 在整个调用链里不被覆盖、不被误读、不因进程模型差异失效——尤其是混合使用 fork / spawn / thread 的服务里,os.getpid() 和 threading.get_ident() 的时机和可见性得反复验证。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1749

2023.07.31

python中的format是什么意思
python中的format是什么意思

python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1211

2024.06.27

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1758

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2744

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6104

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5769

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

7414

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

10894

2024.04.29

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Conan 2 安装指南
Conan 2 安装指南

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn