讲师中心 微信公众号
AI工具推荐 视频效率加速

Python multiprocessing 如何在子进程里正确使用 logging

星晨姑娘_9445

星晨姑娘_9445

发布时间:2026-01-17 22:18:09

|

808人浏览过

|

来源于php中文网

原创

Python多进程日志需子进程独立配置,推荐用QueueHandler+QueueListener实现主进程集中写入,避免文件竞争;调试时可用带pid的文件名或StreamHandler。

python multiprocessing 如何在子进程里正确使用 logging

在 Python 的 multiprocessing 中,子进程默认不继承主进程的 logging 配置,直接使用 logging.info() 等可能无输出、报错,甚至导致进程卡死。关键在于:每个进程需独立配置 logger,且避免多个进程同时写入同一文件引发竞争或损坏。

为每个子进程单独初始化 logging

子进程中不能依赖主进程的 logger 配置。应在子进程函数开头主动调用 logging.basicConfig() 或获取 root logger 后添加 handler:

  • 推荐方式:在子进程入口函数(如 worker())第一行配置 logging,确保每次启动都干净初始化
  • 避免在模块顶层或 if __name__ == '__main__': 外配置 —— 子进程会重新执行模块,但此时 basicConfig() 可能因已存在 handler 而静默失败
  • 若用 logging.getLogger(),记得清除已有 handler:logger.handlers.clear(),再添加新 handler

避免多进程写同一个日志文件

多个子进程直接往同一个文件 FileHandler 写日志,会导致内容错乱、丢失甚至文件损坏。可行方案有:

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载
  • 给每个进程的日志文件加唯一后缀,例如用 os.getpid() 或 current_process().pid:FileHandler(f'app_{os.getpid()}.log')
  • 统一由主进程接收日志消息(通过 QueueHandler + QueueListener),实现集中写入 —— 这是最健壮的生产级方案
  • 临时调试可用 StreamHandler(sys.stderr),输出到控制台(注意 Windows 下可能仍需设置 sys.stderr.reconfigure() 或避免编码问题)

使用 QueueHandler 实现安全集中日志

这是官方推荐的多进程日志最佳实践:子进程只发日志消息,主进程专用线程监听并写入文件。

立即学习“Python免费学习笔记(深入)”;

  • 主进程创建 multiprocessing.Queue() 和 QueueListener,传入 file handler 并启动监听
  • 子进程获取 logger,移除默认 handler,添加 QueueHandler(queue)
  • 注意:QueueListener 必须在 if __name__ == '__main__': 块中启动,且不能在子进程中重复创建
  • 示例关键代码:listener = QueueListener(queue, FileHandler('all.log'));listener.start();子进程里 logger.addHandler(QueueHandler(queue))

其他实用细节

有些小问题容易踩坑,提前注意可省去大量调试时间:

  • Windows 下 spawn 方式启动子进程时,模块会重新导入 —— 所有 logging 配置逻辑必须放在函数内,不要放模块全局作用域
  • 使用 concurrent.futures.ProcessPoolExecutor 时同样适用上述规则,子任务函数内需自行初始化 logging
  • 若用 RotatingFileHandler,多个进程无法安全共用,必须配合 Queue 或按进程分文件
  • 日志格式建议包含进程 ID:%(process)d 或 %(processName)s,便于区分来源

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4078

2023.08.10

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3199

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2778

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1488

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2539

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3270

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1597

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2477

2023.08.28

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn