讲师中心 微信公众号
AI工具推荐 视频效率加速

如何解决多进程并发写入同一个日志导致切割出错

千伟酱_5511

千伟酱_5511

发布时间:2026-09-14 10:35:24

|

298人浏览过

|

来源于php中文网

原创

TimedRotatingFileHandler 多进程下必然出错,因其无跨进程同步能力;各进程独立执行 doRollover 导致 rename/remove 冲突,引发 OSError 或日志丢失;唯一健壮方案是 QueueHandler + QueueListener 由主进程统一轮转。

如何解决多进程并发写入同一个日志导致切割出错

TimedRotatingFileHandler 在多进程下直接使用必然出错,不是配置问题,是设计机制冲突——它没有跨进程同步能力。

为什么 TimedRotatingFileHandler 多进程下会丢日志或报 OSError

每个进程独立调用 doRollover(),执行顺序不可控,典型错误链路如下:

  • 进程 A 检查 app.log 存在 → 关闭流 → 重命名为 app.log.2026-09-08
  • 进程 B 同时检查到 app.log 存在 → 关闭流(此时 A 已关)→ os.rename(app.log, ...) 失败,抛 OSError: [Errno 2] No such file or directory
  • 或更糟:B 先删掉 app.log.2026-09-08(因认为该归档文件已存在),A 的归档被清除

根本原因:文件系统操作(os.rename、os.remove)不是原子的,且无跨进程协调。即使加 multiprocessing.Lock,也仅能串行化写入,无法保证 doRollover 整个流程的原子性(比如 rename 前另一进程已创建新文件)。

用 multiprocessing.Queue + QueueListener 是唯一健壮方案

它把“旋转”和“落盘”收归主进程单一线程,子进程只发消息,彻底规避文件竞争。

onewo-rtlinux
onewo-rtlinux

Linux 实时编程助手。生成、审查并修改用于周期性控制任务和中断驱动程序的 C 代码。强制实施实时调度策略。

下载
  • 主进程中创建 multiprocessing.Queue(),再用它初始化 QueueListener,绑定一个 TimedRotatingFileHandler(注意:必须是主进程创建的 handler 实例)
  • 调用 queue_listener.start() —— 这是后台线程,不是进程,别误用 Process
  • 每个子进程里:logging.getLogger().handlers.clear(),然后添加 QueueHandler(queue)
  • 子进程调用 logging.info() 时,LogRecord 自动序列化进队列;监听端反序列化后交由 TimedRotatingFileHandler.emit() 执行,此时所有旋转逻辑都在单一线程内完成
  • 主进程退出前必须调用 queue_listener.stop(),否则子进程可能卡在 queue.put() 上

别碰 filelock / fcntl 加锁的 TimedRotatingFileHandler

网上很多自定义 emit() 加锁的方案看似简单,实际隐患极深:

  • fcntl.flock 在 Windows 下完全不可用;threading.Lock 在多进程下无效,必须用 multiprocessing.Lock
  • 锁只能保护写入段,但 doRollover 中的 os.rename 和 os.remove 仍可能被其他进程干扰——锁的粒度不够
  • TimedRotatingFileHandler 的轮转逻辑依赖 self.stream 状态,多进程共享同一 handler 实例会导致状态混乱,哪怕加锁也无法修复
  • 一旦某个子进程崩溃未释放锁,后续所有进程永久阻塞,运维上几乎无法定位

这类方案只适合临时调试、进程数 ≤ 2、日志量极低的场景,生产环境请直接放弃。

如果非得用按时间切割,又不想改架构,就分文件

最务实的降级方案:放弃“同一个文件”,改为每个进程写独立带 PID 的日志,再靠外部工具聚合。

  • 子进程中配置 TimedRotatingFileHandler(filename=f"worker_{os.getpid()}.log", when="midnight")
  • 必须在子进程内重新调用 logging.basicConfig() 或显式 addHandler(),不能复用父进程 logger
  • 用 logrotate(Linux)或 newsyslog(macOS)统一管理这些文件:按时间切割、压缩、过期清理,完全绕过 Python 层并发问题
  • 查日志时用 grep -h "ERROR" worker_*.log | sort -k1,2 补时间排序,或用 journalctl(若用 systemd)替代

真正难的不是让日志“看起来像一个文件”,而是让排查“不比单进程慢”。分文件 + 外部轮转,是多数中大型服务的实际选择——它不优雅,但稳定、可观察、易运维。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

60

2026.09.23

Buffalo框架路由与请求处理实操指南
Buffalo框架路由与请求处理实操指南

本专题讲解Buffalo框架路由与请求处理机制,涵盖路由注册与分组、资源路由、Handler编写规范、Context上下文方法、参数绑定、中间件编写挂载、Session与Cookie读写、Flash消息及错误页面定制方法。

20

2026.09.23

Buffalo框架零基础入门教程
Buffalo框架零基础入门教程

本专题整理Buffalo框架入门内容,涵盖Go环境准备、buffalo CLI安装、新项目生成、目录结构说明、dev热加载启动、数据库连接配置与常见报错排查,帮助新手按约定优于配置的思路跑通第一个Buffalo框架应用。

20

2026.09.23

Conan创建软件包配方指南
Conan创建软件包配方指南

本专题介绍通过conanfile.py创建软件包的方法,讲解包名、版本、依赖和构建设置等基础信息,以及source、build、package、package_info等常用方法的作用及编写思路。

20

2026.09.22

Conan二进制包配置指南
Conan二进制包配置指南

本专题介绍Conan根据操作系统、编译器、架构和构建类型生成二进制包的方法,讲解Profile、Settings、Options及Package ID的作用,帮助管理不同平台和编译环境下的包版本。

20

2026.09.22

Conan私有仓库搭建教程
Conan私有仓库搭建教程

本专题系统的讲解Conan私有仓库的搭建流程,涵盖仓库服务部署、存储目录配置、用户认证、权限划分和远程地址添加,并介绍内部C++依赖包的上传、下载及版本维护方法。

20

2026.09.22

loomy官网入口地址合集
loomy官网入口地址合集

本专题汇总了 Loomy 桌面 AI 助理的官方入口地址合集及使用指南。提供 macOS 与 Windows 客户端下载 。Loomy 是讯飞推出的桌面级 AI 工作搭子,支持文件整理、数据分析、网页操作及通过飞书/钉钉远程操控电脑,助你高效完成本地办公任务 。

20

2026.09.22

NumPy常见函数使用方法
NumPy常见函数使用方法

本专题整理 NumPy 常见函数使用方法相关教程,覆盖函数大全、参数用法、数组运算、统计聚合、排序处理、where 条件筛选、linspace 创建数列等常用场景,帮助读者快速掌握 NumPy 函数调用思路和实际数据处理技巧。

40

2026.09.22

NumPy性能优化版本更新与常见报错排查
NumPy性能优化版本更新与常见报错排查

本专题整理 NumPy 性能优化、版本更新与常见报错排查相关教程,覆盖向量化计算、广播性能、内存布局、NumPy 2.0 升级、版本兼容冲突、安装导入报错、dtype 溢出、矩阵运算异常和 broadcasting 报错修复,帮助读者系统掌握 NumPy 性能调优与问题定位方法。

60

2026.09.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Linux负载均衡视频教程
Linux负载均衡视频教程

共7课时 | 1.9万人学习

PHP的速通之路
PHP的速通之路

共129课时 | 25.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn