讲师中心 微信公众号
AI工具推荐 视频效率加速

C#怎么读取大文本_C# MemoryMappedFile内存映射文件【性能】

大枫姑娘_9624

大枫姑娘_9624

发布时间:2026-05-04 21:35:46

|

926人浏览过

|

来源于php中文网

原创

MemoryMappedFile 不是大文本文件的默认解法,顺序读应优先用 StreamReader + BufferedStream;必须显式设 capacity 分块映射,用 MemoryMappedViewAccessor 跳读,避免全量映射触发页错误风暴、虚拟地址耗尽及越界访问。

c#怎么读取大文本_c# memorymappedfile内存映射文件【性能】

MemoryMappedFile 不是大文本文件的默认解法,顺序读就别硬上——它卡死、吃虚拟地址、还容易越界。

MemoryMappedFile.CreateFromFile 一读就卡死?

不是代码写错了,是默认行为在“骗你”:调用 MemoryMappedFile.CreateFromFile 且没指定 capacity 时,.NET 会尝试把整个文件映射进虚拟地址空间。虽然物理内存不会立刻分配,但一旦你用 Span<byte>.GetPinnableReference()</byte> 或 UnsafeAccessor 扫一遍数据(比如逐行解析),就会触发海量页错误 + 磁盘 I/O,界面直接冻结。

真正该做的只有三件事:

  • 显式传入 capacity(例如 64 * 1024 * 1024),控制单次映射大小
  • 用 MemoryMappedViewAccessor 的 Offset 和 Size 跳着读,别碰 MemoryMappedViewStream
  • 如果只是从头到尾读 .txt,老老实实用 StreamReader + BufferedStream,它更稳、更快、不占虚拟地址

想用 MemoryMappedFile 读 .txt,怎么分块跳着读?

文本文件没有固定长度记录,不能像二进制那样按偏移直接切。你得自己实现“找换行符”的逻辑,否则会切在半行中间。

关键点:

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载
  • 每次 CreateViewAccessor(offset, size) 前,确保 offset + size 不超文件长度,且 size ≤ 你设的 capacity
  • 读出的 byte[] 可能以半个 UTF-8 字符结尾,必须检查末尾是否为不完整编码(Encoding.UTF8.GetCharCount() 会报错)
  • 跨块边界处要保留最后若干字节(比如 4 字节),和下一块开头拼起来再找 \n,否则丢行
  • 别用 Encoding.GetString(byte[], offset, count) 直接转——它不处理截断,推荐用 ReadOnlySpan<byte>.Utf8ToUtf16</byte> + ReadOnlyMemory<char></char> 流式解码

两个进程共享同一份大文本,怎么避免读到半截内容?

MemoryMappedFile 本身不保证原子性,也不管你读到哪了。它只是给你一块“裸内存”,读写全靠自觉。

必须加同步机制:

  • 命名要用 "Global\MyLogData",否则 Windows 默认在会话命名空间里找,服务进程和桌面进程根本看不到彼此
  • 共享区只放原始字节,结构体必须加 [StructLayout(LayoutKind.Sequential, Pack = 1)],字段用 [MarshalAs] 显式声明大小
  • 加一个 EventWaitHandle 控制状态:写进程写完有效数据后调 event.Set();读进程先 event.WaitOne(),再读,读完清空或推进指针
  • 不要让读写双方共用同一个 MemoryMappedViewAccessor 实例——它非线程安全,且底层 SafeMemoryMappedViewHandle 可能被 GC 回收

映射 10GB 文件时提示 “Not enough storage is available”

这不是磁盘空间不足,是 32 位进程用户模式虚拟地址空间耗尽(上限约 2GB)。哪怕你只映射 64MB,只要多次创建/释放视图,碎片化严重,也可能失败。

解决路径很窄:

  • 必须用 64 位进程(PlatformTarget = x64),这是硬门槛
  • 避免频繁 CreateViewAccessor → Dispose,尽量复用视图实例(但注意线程安全)
  • 不用 MemoryMappedViewStream,它内部有缓冲层,额外拷贝 + 隐藏生命周期管理,极易引发句柄泄漏
  • 映射前检查 accessor.SafeMemoryMappedViewHandle.IsInvalid,越界访问报的 “protected memory” 其实就是这个句柄已失效

真正难的从来不是“怎么映射”,而是“怎么在不破坏文本语义的前提下,把随机访问能力用对地方”。多数场景下,你并不需要它——除非你在做日志实时 tail + 多进程联合分析,或者文本本身就是结构化二进制混合体。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c#

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

992

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

2871

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

865

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2615

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

312

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

389

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn