讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

AniShort
AniShort

AI短剧协同制作平台

updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Python并发文件写入_锁机制说明【指导】

陌浩小哥_7076

陌浩小哥_7076

发布时间:2025-12-30 21:32:43

|

1071人浏览过

|

来源于php中文网

原创

必须加锁,否则并发写入同一文件会导致数据错乱、覆盖或丢失;线程用threading.Lock保护write/flush,进程用multiprocessing.Lock或fcntl.flock,优先采用分文件、队列或安全日志库等无锁方案。

python并发文件写入_锁机制说明【指导】

Python中并发写入同一文件时,必须加锁,否则极易导致数据错乱、覆盖或丢失。核心原则是:多个线程/进程不能同时调用 write() 或修改文件指针位置。

线程场景:用 threading.Lock 保护文件操作

同一进程内多线程写文件,共享文件对象(如 open() 返回的句柄),需用 threading.Lock 确保每次只有一个线程执行写入和刷新动作。

  • 打开文件建议在锁外完成(避免阻塞其他线程),但所有 .write()、.flush() 必须包裹在 with lock: 块中
  • 不要复用未加锁的 print(..., file=f) 或 f.writelines() —— 它们不是原子操作
  • 示例关键片段:
    lock = threading.Lock()<br>with open("log.txt", "a") as f:<br>  with lock:<br>    f.write(f"[{time.time()}] msg\n")<br>    f.flush()

多进程场景:用 multiprocessing.Lock 或文件级锁(如 fcntl)

不同进程拥有各自文件描述符,threading.Lock 无效。推荐两种方式:

Biopython
Biopython

全面的分子生物学工具集。适用于序列操作、文件解析(FASTA/GenBank/PDB)、系统发育分析,以及通过 Bio.Entrez 以编程方式访问 NCBI/

下载
  • 简单日志类场景:改用 multiprocessing.Manager().Lock() 或 multiprocessing.Lock()(注意它可跨进程共享)
  • 精确控制文件偏移或避免竞态:用 fcntl.flock()(Linux/macOS)或 msvcrt.locking()(Windows)对文件本身加锁,确保写入前独占文件
  • 注意:直接用 "a" 模式追加看似安全,但 write() + flush() 组合仍可能因缓冲/调度出现交错,不能替代显式锁

更健壮的替代方案:避免直接并发写同一文件

锁只是兜底手段,设计上应优先降低冲突概率:

立即学习“Python免费学习笔记(深入)”;

  • 每个线程/进程写独立文件(如 log_worker_001.txt),后续合并 —— 无锁、易调试
  • 使用队列(queue.Queue 或 multiprocessing.Queue)集中写入:仅一个消费者线程/进程负责落盘
  • 选用支持并发写的安全库,如 concurrent-log-handler(自动处理轮转与锁)或数据库代替纯文件

常见误区提醒

以下做法看似省事,实际不可靠:

  • 只锁 write() 却不锁 seek() 或 truncate() —— 文件指针操作同样需要同步
  • 用 time.sleep() “错开”写入时间 —— 无法保证竞态不发生,且降低性能
  • 认为 "a" 模式自动线程安全 —— 它仅保证 OS 层追加原子性,Python 层的编码、换行、缓冲仍可能被打断
  • 在 with open() 外创建锁,但未确保所有写路径都经过该锁 —— 漏掉任一写入口就会出问题

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

小橡皮AI

一款AI工具,主要用于小橡皮一键去AI味,将机器味重的内容改得更有活人感,防止因为 AI 内容被平台打上 AI 标签,以及限流,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
python中print函数的用法
python中print函数的用法

python中print函数的语法是“print(value1, value2, ..., sep=' ', end=' ', file=sys.stdout, flush=False)”。本专题为大家提供print相关的文章、下载、课程内容,供大家免费下载体验。

3500

2023.09.27

python print用法与作用
python print用法与作用

本专题整合了python print的用法、作用、函数功能相关内容,阅读专题下面的文章了解更多详细教程。

269

2026.02.03

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

399

2026.04.23

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4878

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1369

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

463

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

599

2026.01.21

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

449

2026.02.06

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

40

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn