讲师中心 微信公众号
AI工具推荐 视频效率加速

Python 文件锁的实现方式与使用场景

阿芳同学_3606

阿芳同学_3606

发布时间:2026-02-12 22:37:03

|

1092人浏览过

|

来源于php中文网

原创

macOS 上 flock 不生效是因为其仅支持建议性锁且不跨进程持久化,对 NFS 或 pathlib 等封装常无效;应改用 portalocker 实现跨平台文件锁。

python 文件锁的实现方式与使用场景

Python 中 flock 为什么在 macOS 上不生效?

因为 macOS 的 flock 系统调用是 advisory-only(建议性锁),且不跨进程持久化,实际对 NFS 或某些 Python 封装(如 pathlib.Path.open)可能完全无效。

常见错误现象:OSError: [Errno 38] Function not implemented 或锁看似成功但多个进程仍同时写入文件。

  • 只在 Linux 上可靠;macOS 和 Windows 均不推荐依赖 flock
  • 即使在 Linux,若文件挂载时用了 noac 或 nolock(如某些 NFS 配置),flock 也会静默失效
  • Python 的 fcntl.flock(fd, fcntl.LOCK_EX) 必须作用于已打开的文件描述符,不能对路径直接加锁

示例:以下代码在 macOS 上不会阻塞,也不提供互斥保障

import fcntl
with open("data.txt", "w") as f:
    fcntl.flock(f.fileno(), fcntl.LOCK_EX)  # ⚠️ macOS 上形同虚设
    f.write("hello")
    fcntl.flock(f.fileno(), fcntl.LOCK_UN)

跨平台安全的文件锁该用哪个库?

用 portalocker —— 它自动适配底层机制:flock(Linux)、msvcrt.locking(Windows)、fcntl.lockf(macOS 可用,比 flock 更可靠)。

立即学习“Python免费学习笔记(深入)”;

使用场景:需要确保单实例运行、防止 cron 多次触发写冲突、日志轮转时避免覆盖。

  • portalocker.Lock 支持上下文管理器和超时控制,比手写兼容逻辑更稳
  • 不依赖 threading.Lock,它是真正的进程级锁
  • 注意:锁文件必须是普通文件(不能是符号链接或 /dev/null),且路径需所有进程一致

简短示例:

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac,无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启:辅助功能 + 屏幕录制权限

下载
import portalocker
with open("state.lock", "w") as lockfile:
    portalocker.lock(lockfile, portalocker.LOCK_EX)
    # 此处执行临界区操作
    portalocker.unlock(lockfile)

threading.Lock 能代替文件锁吗?

不能。它只在单个 Python 进程内有效,对 fork 出的子进程、独立启动的脚本、不同用户下的进程完全无效。

常见错误现象:用 threading.Lock 包裹写文件逻辑后,cron 每分钟跑一次脚本,仍然出现数据错乱或损坏。

  • 多线程 ≠ 多进程 —— Python 的 GIL 不影响进程并发,threading.Lock 对 subprocess.Popen 或另一个 python script.py 无任何约束力
  • 如果程序本身是单进程且纯线程模型(比如 Flask 同一进程内多线程处理请求),threading.Lock 可用于保护共享内存变量,但绝不该用于文件 I/O 协调
  • 混淆使用会导致“本地测试正常、上线就出问题”,尤其在容器或 systemd service 场景下

临时文件 + 原子重命名是否算一种锁?

是,而且是轻量、跨平台、无需额外依赖的替代方案,适合“写完即走”类任务(如生成配置、缓存刷新)。

原理:利用 os.replace()(POSIX)或 MoveFileEx(Windows)的原子性,先写到临时路径,再替换目标文件。

  • 不阻塞其他读取者 —— 旧文件始终可用,新内容一次性生效
  • 无法实现“等待锁释放”的语义,只能做“尽力而为”的单次写入,不适合需要排队协调的场景(如计数器累加)
  • 注意:临时文件必须与目标文件在同一文件系统(否则 os.replace 会降级为 copy+unlink,非原子)

示例:

import os
import tempfile
with tempfile.NamedTemporaryFile(
    dir=os.path.dirname("config.json"),
    delete=False,
    suffix=".tmp"
) as tmp:
    tmp.write(b'{"mode": "prod"}')
    tmp.flush()
    os.replace(tmp.name, "config.json")  # 原子生效

文件锁最易被忽略的一点:锁文件本身不是魔法,它的有效性完全取决于所有参与者是否主动检查并遵守同一把锁。没有强制力,也没有内核级仲裁 —— 写错路径、漏加锁、混用不同锁机制,都会让整个防护形同虚设。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
flask框架如何搭建
flask框架如何搭建

搭建步骤:1、安装Python和Pip;2、创建虚拟环境;3、安装Flask;4、创建Flask应用;5、运行应用;6、访问应用。想了解更多flask框架的相关内容,可以阅读本专题下面的文章。

3915

2024.06.27

Python Flask框架
Python Flask框架

本专题专注于 Python 轻量级 Web 框架 Flask 的学习与实战,内容涵盖路由与视图、模板渲染、表单处理、数据库集成、用户认证以及RESTful API 开发。通过博客系统、任务管理工具与微服务接口等项目实战,帮助学员掌握 Flask 在快速构建小型到中型 Web 应用中的核心技能。

6004

2025.08.25

Python Flask Web框架与API开发
Python Flask Web框架与API开发

本专题系统介绍 Python Flask Web框架的基础与进阶应用,包括Flask路由、请求与响应、模板渲染、表单处理、安全性加固、数据库集成(SQLAlchemy)、以及使用Flask构建 RESTful API 服务。通过多个实战项目,帮助学习者掌握使用 Flask 开发高效、可扩展的 Web 应用与 API。

316

2025.12.15

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

549

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

1698

2024.03.01

线程和进程的区别
线程和进程的区别

线程和进程的区别:线程是进程的一部分,用于实现并发和并行操作,而线程共享进程的资源,通信更方便快捷,切换开销较小。本专题为大家提供线程和进程区别相关的各种文章、以及下载和课程。

4418

2023.08.10

Python 多线程与异步编程实战
Python 多线程与异步编程实战

本专题系统讲解 Python 多线程与异步编程的核心概念与实战技巧,包括 threading 模块基础、线程同步机制、GIL 原理、asyncio 异步任务管理、协程与事件循环、任务调度与异常处理。通过实战示例,帮助学习者掌握 如何构建高性能、多任务并发的 Python 应用。

1229

2025.12.24

java多线程相关教程合集
java多线程相关教程合集

本专题整合了java多线程相关教程,阅读专题下面的文章了解更多详细内容。

423

2026.01.21

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

20

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn