讲师中心 微信公众号
AI工具推荐 视频效率加速

C# FlatBuffers序列化 C#如何使用FlatBuffers实现零拷贝的文件读写

阿宇小哥_3543

阿宇小哥_3543

发布时间:2026-03-04 09:59:46

|

534人浏览过

|

来源于php中文网

原创

FlatBuffers序列化后不能直接当二进制文件读写,因其ByteBuffer是内存视图而非完整字节数组;正确保存需三步:调用Finish()设root、用SizedByteArray()获取完整缓冲区、File.WriteAllBytes()写入;读取时须用GetRootAsXxx()解析,非仅new ByteBuffer。

c# flatbuffers序列化 c#如何使用flatbuffers实现零拷贝的文件读写

FlatBuffers序列化后为什么不能直接当二进制文件读写?

因为 FlatBuffers 生成的 ByteBuffer 是内存视图,不是完整可持久化的字节数组。你调用 FlatBufferBuilder.SizedByteArray() 得到的是带 offset 和 length 的 slice,直接写入文件会丢失 schema 信息和 root table 指针位置,读取时 new ByteBuffer(bytes) 无法定位 root。

C# 中正确保存 FlatBuffers 二进制数据的三步操作

必须把 builder 内部的完整缓冲区导出为连续字节数组,并确保 root table 被正确设置:

  • 调用 builder.Finish(rootOffset)(必须!否则 buffer 不合法)
  • 用 builder.SizedByteArray() 获取字节数组 —— 这才是完整、可存储的 buffer
  • 写入文件时直接 File.WriteAllBytes(path, bytes),不要截断或 reinterpret

示例片段:

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载
var builder = new FlatBufferBuilder(1024);
var nameOffset = builder.CreateString("Alice");
var personOffset = Person.CreatePerson(builder, nameOffset, 30);
builder.Finish(personOffset); // ← 关键:不 finish 就没 root
byte[] bytes = builder.SizedByteArray(); // ← 正确获取完整 buffer
File.WriteAllBytes("person.bin", bytes);

读取时为何 new ByteBuffer(File.ReadAllBytes(...)) 失败?

常见错误是读取后没指定 root 类型或跳过 header。FlatBuffers 的 ByteBuffer 构造器本身不解析结构,只是包装字节;真正反序列化时需显式调用静态 GetRootAsXxx() 方法,并传入该 buffer。

  • 必须用 ByteBuffer bb = new ByteBuffer(File.ReadAllBytes(path))
  • 必须调用 Person.GetRootAsPerson(bb),不能只 new 出 buffer 就完事
  • 如果文件是跨平台生成的(比如 C++ 写入),注意字节序 —— C# 默认小端,FlatBuffers 协议固定为小端,一般没问题;但自定义 builder 配置了 Builder.Capacity 或复用 buffer 时容易错位

零拷贝读取的边界条件和陷阱

所谓“零拷贝”仅在内存映射场景下成立:用 MemoryMappedFile + ArraySegment<byte></byte> 构造 ByteBuffer,才能避免 File.ReadAllBytes() 的一次内存分配。但实际开发中极易踩坑:

  • ByteBuffer 的 Position 和 Length 必须精确匹配 mmap 区域,否则 GetRootAsXxx() 会抛 System.IndexOutOfRangeException
  • schema 变更后旧文件无法兼容读取 —— FlatBuffers 不自带版本路由,得自己在 root struct 里加 version 字段判断
  • 调试时别依赖 ToString() 查看内容,它不输出字段值;要用 FlatBufferBuilder.PrintTable() 或导出为 JSON(需额外引用 FlatBuffers.Utils)

真正省掉的只是反序列化时的对象堆分配,文件 IO 层面该读还是得读,mmap 也不是银弹 —— 小文件用 ReadAllBytes 更稳。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

1132

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

3331

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

945

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2655

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

352

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

429

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

20

2026.11.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn