讲师中心 微信公众号

工具推荐

视频效率加速
Laper
Laper

剧本策划到成片协作

Seko
Seko

AI短剧一键生成成片

立刻MV
立刻MV

低成本歌曲 MV、视频生成

剧云
剧云

中文短剧剧本制作平台

C++如何构建高性能的序列化与反序列化框架?(数据存储与传输)

阿静小哥_7105

阿静小哥_7105

发布时间:2026-03-01 11:59:24

|

396人浏览过

|

来源于php中文网

原创

std::string 不该直接 memcpy 到二进制流,因其内部含指针,memcpy 仅复制地址导致反序列化时野指针;正确做法是先写长度再写内容字节,并统一处理字节序与对齐。

c++如何构建高性能的序列化与反序列化框架?(数据存储与传输)

为什么 std::string 不该直接 memcpy 到二进制流里

因为序列化不是“把内存 dump 出去”,而是把逻辑结构稳定地映射成字节序列。用 memcpy(&obj, buf, sizeof(obj)) 看似快,但会踩中对齐、填充字节、指针悬空、非 POD 类型(如 std::string)等坑——它只存了指针地址,反序列化时读出来就是野指针。

真正安全的做法是显式控制每个字段的序列化行为:

  • std::string 必须先写长度(uint32_t),再写内容字节,否则无法知道读多少
  • 浮点数跨平台需统一用 memcpy 转成整型再写(避免 x87 扩展精度残留)
  • 结构体字段顺序必须和反序列化端严格一致,建议加 static_assert(std::is_standard_layout_v<t>)</t>

如何让 flatbuffers 在不牺牲性能的前提下支持运行时 schema 变更

flatbuffers 原生不支持动态字段增删,但实际业务中常需要兼容旧版本客户端。硬编码 schema 会导致每次字段变更都要发新包,而全量 JSON 又太慢。

折中方案是:用 flatbuffers 的 flexbuffer 子模块承载可选字段,主结构仍走高效 flatbuffer;关键字段(如 ID、type)保留在 flatbuffer 根表,扩展字段走 flexbuffer::Map:

立即学习“C++免费学习笔记(深入)”;

C++14
C++14

C++14 对 C++11 的修正与增强版本,适合旧系统维护和较老工具链兼容。

下载
  • 主结构定义保持 table,字段全 required,保证解析零拷贝
  • 新增字段不进主表,统一塞进一个 optional_data: [ubyte] 字段,反序列化时用 flexbuffer::GetRoot 解析
  • 服务端写入前做 flexbuffer::Builder 预校验,避免无效 JSON 导致整个 buffer 失效

protobuf 的 parseFromArray 为什么比 parseFromIstream 快 3–5 倍

根本区别不在解析逻辑,而在内存访问模式:parseFromArray 接收连续内存块,可利用 CPU 预取和 SIMD 加速跳过未知字段;parseFromIstream 每次读都可能触发系统调用、缓存未命中,还强制按字节流处理,无法批量跳过。

但要注意前提条件:

  • 必须确保传入的 const void* 指向完整、已加载的 buffer,不能是 mmap 映射的缺页区域
  • buffer 生命周期必须长于解析过程,别传栈变量地址或临时 std::vector::data()(析构后失效)
  • 若数据来自网络,务必先收全再调用,不要边收边 parse——protobuf 不支持流式 partial parse

自定义序列化函数里,std::endian 和 htonl 怎么选

跨网络传输或跨架构存储时,字节序必须显式约定。C++23 引入 std::endian,但仅用于编译期检测;真正转换还得靠 htonl/htons 或手动位移。

实操建议:

  • 网络传输一律用 htonl(32 位)、htons(16 位),它们在所有 POSIX 平台语义明确且内联优化充分
  • 文件存储若需长期兼容,也推荐用网络序,避免未来 ARM/Mac 迁移出问题
  • 别依赖 std::byteswap,它不区分用途,且 MSVC 对 __builtin_bswap 支持不稳定
  • 小端机器上写 float/double,先 memcpy 到 uint32_t/uint64_t,再 htonl,不能直接对浮点变量取地址转序

最易被忽略的一点:结构体嵌套时,每个子对象的字节序转换必须独立进行,没有“全局字节序开关”这种东西——漏掉一个字段,整条链路就错位。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

相关专题

更多
json数据格式
json数据格式

JSON是一种轻量级的数据交换格式。本专题为大家带来json数据格式相关文章,帮助大家解决问题。

2335

2023.08.07

json是什么
json是什么

JSON是一种轻量级的数据交换格式,具有简洁、易读、跨平台和语言的特点,JSON数据是通过键值对的方式进行组织,其中键是字符串,值可以是字符串、数值、布尔值、数组、对象或者null,在Web开发、数据交换和配置文件等方面得到广泛应用。本专题为大家提供json相关的文章、下载、课程内容,供大家免费下载体验。

3842

2023.08.23

jquery怎么操作json
jquery怎么操作json

操作的方法有:1、“$.parseJSON(jsonString)”2、“$.getJSON(url, data, success)”;3、“$.each(obj, callback)”;4、“$.ajax()”。更多jquery怎么操作json的详细内容,可以访问本专题下面的文章。

1276

2023.10.13

go语言处理json数据方法
go语言处理json数据方法

本专题整合了go语言中处理json数据方法,阅读专题下面的文章了解更多详细内容。

4459

2025.09.10

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

7519

2023.08.02

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

7687

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

904

2025.10.23

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2458

2023.09.20

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

20

2026.11.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn