讲师中心 微信公众号

工具推荐

视频效率加速
updream

一键生成高质量推广成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

C# 内存映射文件持久化 C#如何使用MemoryMappedFile实现一个简单的持久化队列

浅涛姑娘_5788

浅涛姑娘_5788

发布时间:2026-02-27 11:41:03

|

635人浏览过

|

来源于php中文网

原创

不能。MemoryMappedFile仅提供内存映射能力,需自行实现环形缓冲区、偏移管理、并发同步及结构化消息布局,否则易致数据覆盖、错位或撕裂。

c# 内存映射文件持久化 c#如何使用memorymappedfile实现一个简单的持久化队列

MemoryMappedFile 能不能直接当队列用

不能。它只是把一段磁盘文件映射成内存视图,本身不提供入队/出队逻辑、游标管理、并发控制或结构化数据布局——你得自己实现环形缓冲区、读写偏移、长度校验这些。直接拿 MemoryMappedFile 当队列,大概率遇到数据覆盖、读写错位、多线程撕裂等问题。

常见错误现象:System.IO.IOException: The process cannot access the file because it is being used by another process(多个进程同时 CreateOrOpen 但没设好 MemoryMappedFileRights);或读到全零、乱码、截断数据(没维护好 readOffset 和 writeOffset)。

  • 必须手动划分文件区域:头部存元数据(如 readOffset、writeOffset、capacity),后面才是数据槽位
  • 所有偏移操作必须用 Interlocked 或 lock 保护,尤其跨进程时推荐用命名 EventWaitHandle 同步
  • 每次写入前检查剩余空间:若 (writeOffset + itemSize) % capacity ,说明已满(环形判断)

如何组织消息结构并避免序列化开销

别用 BinaryFormatter 或 JSON 序列化——它们动态分配堆内存,违背“持久化+零拷贝”初衷。正确做法是把消息定义为 struct,用 Marshal.PtrToStructure / Marshal.StructureToPtr 直接读写内存视图。

使用场景:日志采集、传感器数据缓存、IPC 高频小消息(≤4KB)。超过 8KB 建议分块或换方案,否则 MemoryMappedViewAccessor 映射成本上升。

  • struct 必须加 [StructLayout(LayoutKind.Sequential, Pack = 1)],禁用字段对齐优化
  • 字符串字段不能直接放 struct 里,改用固定长度 fixed byte message[256],写入前用 Encoding.UTF8.GetBytes() 拷入
  • 写入时先 view.Write(offset, ref item),再原子更新 writeOffset;读取同理,且要先检查该位置是否有效(比如首字节非 0xFF 才认为已写入)

跨进程访问时权限与生命周期怎么管

Windows 下默认创建的 MemoryMappedFile 是进程内私有对象。要跨进程,必须显式指定安全描述符和名称,并统一使用 MemoryMappedFileRights.ReadWrite 权限;Linux/macOS(.NET 6+)需用 MemoryMappedFileOptions.DelayAllocatePages 避免 mmap 失败。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

容易踩的坑:CreateOrOpen 成功不代表能读写——另一进程可能只开了 Read 权限;或者进程崩溃后没调 Dispose(),导致句柄泄漏,下次 CreateOrOpen 报 UnauthorizedAccessException。

  • 始终用带名称的构造: MemoryMappedFile.CreateOrOpen("MyQueue", fileSize, MemoryMappedFileAccess.ReadWrite)
  • 配合 EventWaitHandle 做信号同步:比如用 "MyQueue_WriteReady" 通知消费者有新数据
  • 不要依赖 using 自动释放——进程意外退出时资源不会自动清理,建议在程序启动时先尝试 Open,失败再 Create,并记录 PID 到共享头区做存活检测

为什么不用 ConcurrentQueue + 文件备份替代

因为 ConcurrentQueue<t></t> 完全在托管堆上,重启即丢;而内存映射文件本质是“把磁盘当内存用”,只要文件没删,数据就一直存在。但代价是:你得处理字节序、大小端、结构变更兼容性(比如 v2 版本 struct 多了一个字段,v1 进程读会越界)。

性能影响明显的地方:频繁小消息(如每毫秒 100 条)下,MemoryMappedViewAccessor 的 Write() 调用比直接指针操作慢约 2–3 倍;这时应批量写入或改用 Span<byte>.GetPinnableReference()</byte> + unsafe 操作视图指针。

  • 版本升级必须加 Magic Number 和 Version 字段到头部,读取时先校验再解析
  • 不要假设文件大小永远够用——扩容需要重新 CreateOrOpen 并迁移旧数据,期间需暂停写入
  • 测试时务必关掉杀毒软件,某些实时扫描会锁住映射文件,导致 IOException

真正麻烦的是结构演进和跨平台路径差异——Windows 上文件名区分大小写但映射名不区分,Linux 上两者都区分。一个叫 "myqueue" 的映射,在两边可能被当成两个不同对象。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

码上飞
码上飞 Hot

一款基于自然语言的AI应用开发平台,可根据用户描述自动生成应用程序,帮助个人和团队快速完成应用原型与开发。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2295

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3722

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1236

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4319

2025.09.10

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1898

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

3084

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

6324

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

6389

2023.11.24

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

40

2026.11.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
uni-app从入门到实战教程
uni-app从入门到实战教程

共0课时 | 0人学习

uni-app x harmony开发指南
uni-app x harmony开发指南

共0课时 | 0人学习

uni-app鸿蒙运行和发行
uni-app鸿蒙运行和发行

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn