讲师中心 微信公众号

工具推荐

视频效率加速
AniShort
AniShort

AI短剧协同制作平台

剧云
剧云

中文短剧剧本制作平台

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

Python 文件锁在多进程下是否可靠?

云杰同学_1599

云杰同学_1599

发布时间:2026-01-21 13:27:11

|

637人浏览过

|

来源于php中文网

原创

Python文件锁在多进程下基本可靠但有前提:flock()是Unix/Linux/macOS内核级锁,崩溃自动释放;Windows的msvcrt.locking()为脆弱的advisory锁,易残留死锁;需统一路径、避免混用锁类型、合理控制粒度,或选用Redis等分布式锁替代。

python 文件锁在多进程下是否可靠?

Python 文件锁在多进程环境下基本可靠,但有重要限制和使用前提。它不是万能的同步机制,能否真正起作用,取决于锁的类型、操作系统支持、文件系统特性以及是否所有进程都遵循同一套加锁逻辑。

fcntl.flock 是最常用且跨进程有效的选择

(仅限 Unix/Linux/macOS)

基于 flock() 系统调用的文件锁是内核级的,由操作系统维护,进程崩溃或异常退出时会自动释放锁,对多进程协作较友好。

  • 所有参与协作的进程必须对同一个打开的文件描述符(或通过同一路径打开的文件)调用 flock()
  • 不依赖文件内容或路径名本身,而是依赖底层 inode 和内核锁表,所以硬链接、符号链接不影响锁有效性
  • 注意:不同进程用 open() 单独打开同一路径,得到的是独立 fd,但 flock() 仍能协同工作——这是它适合多进程的关键

msvcrt.locking 在 Windows 上可用但局限明显

(仅限 Windows,且仅支持字节范围锁)

Linuxdo Application
Linuxdo Application

为 Linux.do 注册撰写高通过率、去 AI 化的中文小作文。进行自适应调查以了解申请人的真实背景,...

下载

立即学习“Python免费学习笔记(深入)”;

Windows 下没有直接对应 flock() 的内核锁,msvcrt.locking() 提供的是基于文件句柄的 advisory 锁,行为更脆弱:

  • 需要显式指定锁定的字节范围,通常得约定好锁区域(如文件开头 1 字节)
  • 若进程未调用解锁就崩溃,锁可能残留,导致死锁(需靠超时或外部清理)
  • 某些文件系统(如网络共享 SMB)可能不支持或弱支持该锁,可靠性下降

避免踩坑的关键实践

即使选对了锁机制,错误用法也会让锁失效:

  • 不要混用锁类型:比如一个进程用 flock(),另一个用 fcntl.lockf() 或自定义文件标记,它们互不感知
  • 锁文件必须可被所有进程访问:路径需统一(推荐绝对路径),权限要放开,不能放在临时目录或用户私有路径下
  • 始终检查返回值并处理阻塞/超时:避免无限等待;用 LOCK_NB 配合重试更健壮
  • 锁粒度要合理:不要整个程序只用一个锁文件,应按资源隔离(如每个配置文件、每个数据库分片单独加锁)

替代方案更稳妥的场景

当文件锁难以满足需求时,可考虑:

  • 使用 multiprocessing.Manager() 或 multiprocessing.Lock:适用于同父进程派生的子进程,不跨 Python 实例
  • 借助外部服务:Redis 的 SET key value NX PX timeout、ZooKeeper、etcd 等提供分布式锁,适合异构进程或跨机器场景
  • 信号量文件 + 原子操作:用 os.open(..., os.O_CREAT | os.O_EXCL) 创建唯一临时文件作为锁标记,依赖文件系统原子性,轻量但需手动清理

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Flowith
Flowith Hot

Flowith是一款基于画布和智能体工作流的 AI 协作工作空间。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
什么是分布式
什么是分布式

分布式是一种计算和数据处理的方式,将计算任务或数据分散到多个计算机或节点中进行处理。本专题为大家提供分布式相关的文章、下载、课程内容,供大家免费下载体验。

2173

2023.08.11

分布式和微服务的区别
分布式和微服务的区别

分布式和微服务的区别在定义和概念、设计思想、粒度和复杂性、服务边界和自治性、技术栈和部署方式等。本专题为大家提供分布式和微服务相关的文章、下载、课程内容,供大家免费下载体验。

3614

2023.10.07

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3439

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2998

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

1548

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

2719

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

3350

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1717

2023.08.10

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

60

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn