讲师中心 微信公众号

工具推荐

视频效率加速
剧云
剧云

中文短剧剧本制作平台

Laper
Laper

剧本策划到成片协作

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Python 多进程环境下的日志处理

风杰吖_9687

风杰吖_9687

发布时间:2026-02-05 15:50:11

|

573人浏览过

|

来源于php中文网

原创

multiprocessing中直接用logging会丢日志或乱序,因子进程继承父进程logger但FileHandler非进程安全,多进程写同一文件导致缓冲冲突、覆盖或OSError;应让各子进程独立配置logger或使用QueueHandler+QueueListener。

python 多进程环境下的日志处理

为什么 multiprocessing 中直接用 logging 会丢日志或乱序?

因为每个子进程会继承父进程的 logger 对象,但底层 handler(比如 FileHandler)不是进程安全的——多个进程同时写同一个文件,会导致缓冲区冲突、覆盖、截断,甚至 OSError:[Errno 9] Bad file descriptor。标准库的 logging 模块本身不保证跨进程写入安全。

推荐方案:每个子进程独立初始化 logger

避免共享 handler,让每个进程持有一个专属的 FileHandler 或转向进程安全的中转方式。最简单可靠的做法是:在子进程入口函数里调用 logging.basicConfig() 或手动配置 logger,确保 handler 不被复用。

  • 不要在主进程配置好 logger 后直接传给子进程(Process(target=..., args=(logger,)))
  • 子进程中禁用继承:调用 logging.getLogger().handlers.clear() 再重新 addHandler
  • 若需统一日志文件,改用 QueueHandler + QueueListener(见下一条)
  • 注意 basicConfig() 在子进程中首次调用才生效;重复调用无效

需要合并到单个文件?用 QueueHandler + QueueListener

这是官方推荐的跨进程日志方案:所有子进程把 log record 发到一个 multiprocessing.Queue,由主进程里的 QueueListener 统一消费并写入文件。它规避了并发写问题,也保留了时间戳和进程名等上下文。

Linuxdo Application
Linuxdo Application

为 Linux.do 注册撰写高通过率、去 AI 化的中文小作文。进行自适应调查以了解申请人的真实背景,...

下载
  • 必须在主进程创建 Queue 和 QueueListener,并在主进程启动 listener(.start())
  • 子进程拿到 Queue 实例后,用 QueueHandler(queue) 替换默认 handler
  • 主进程退出前要调用 listener.stop(),否则可能丢失最后几条日志
  • 注意 Queue 是阻塞的,如果 listener 崩溃或没运行,子进程会卡住
import logging
from logging.handlers import QueueHandler, QueueListener
from multiprocessing import Process, Queue
<p>def worker(q):
logger = logging.getLogger()
logger.setLevel(logging.INFO)
logger.addHandler(QueueHandler(q))  # 只发不写
logger.info("from worker %d", Process.pid)</p><p>if <strong>name</strong> == "<strong>main</strong>":
q = Queue()
handler = logging.FileHandler("app.log")
listener = QueueListener(q, handler)
listener.start()</p><pre class='brush:python;toolbar:false;'>p = Process(target=worker, args=(q,))
p.start()
p.join()

listener.stop()  # 关键:必须显式 stop

调试时别忽略 spawn vs fork 的影响

Windows 默认用 spawn 启动子进程(重新导入主模块),而 Linux/macOS 默认 fork(内存拷贝)。这直接影响日志配置时机:

立即学习“Python免费学习笔记(深入)”;

  • spawn 下,子进程不会执行 if __name__ == "__main__": 块外的代码,所以 logger 初始化必须放在 worker 函数内
  • fork 下,子进程可能意外继承父进程已打开的 FileHandler 文件句柄,导致 OSError: [Errno 9]
  • 统一做法:在 worker 开头加 logging.getLogger().handlers.clear(),再重建 handler

真正麻烦的是混合场景——比如用 concurrent.futures.ProcessPoolExecutor,底层可能切换启动方法,日志行为会悄悄变化。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3459

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3018

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1548

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2739

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3370

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1737

2023.08.10

windows boot manager
windows boot manager

windows boot manager无法开机的解决方法:1、系统文件损坏,使用Windows安装光盘或USB启动盘进入恢复环境,选择修复计算机,然后选择自动修复;2、引导顺序错误,进入恢复环境,选择命令提示符,输入命令"bootrec /fixboot"和"bootrec /fixmbr",然后重新启动计算机;3、硬件问题,使用硬盘检测工具进行扫描和修复;4、重装操作系统。本专题还提供其他解决

2537

2023.08.28

windows锁屏快捷键
windows锁屏快捷键

windows锁屏快捷键是Windows键+L、Ctrl+Alt+Del、Windows键+D、Windows键+P和Windows键+R。本专题为大家提供windows相关的文章、下载、课程内容,供大家免费下载体验。

5467

2023.08.30

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

0

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn