讲师中心 微信公众号
AI工具推荐 视频效率加速

c++ serdes序列化 c++如何设计一个自定义的二进制序列化方案

酷强君_6849

酷强君_6849

发布时间:2026-04-05 18:07:29

|

593人浏览过

|

来源于php中文网

原创

不能直接用 memcpy 序列化结构体,因成员对齐、字节序、指针、虚函数表及非POD类型(如 std::string)会导致跨平台/编译器失败、崩溃或乱码;可靠序列化需显式控制字段顺序、长度与编码,统一网络序、字符串带长度前缀、容器先写 size 再逐元素序列化,含虚函数或继承时须用类型 ID + 工厂反序列化。

c++ serdes序列化 c++如何设计一个自定义的二进制序列化方案

为什么不能直接用 memcpy 序列化结构体

因为结构体成员对齐、字节序、指针字段、虚函数表、非POD类型(如 std::string、std::vector)都会让 memcpy 失效。常见错误现象是:本地序列化后写文件,换平台或换编译器就反序列化失败;含 std::string 的结构体一读就崩溃;或者只读出前几个字段,后面全乱码。

真正能跨版本、跨平台、可维护的二进制序列化,必须显式控制每个字段的读写顺序、长度和编码方式。

  • POD 类型(如 int32_t、float)需统一字节序(推荐网络序,即大端),用 htons/htonl 或 std::byteswap(C++23)处理
  • 字符串必须带长度前缀(如 uint32_t len + char[len]),不能存裸指针
  • 容器(如 std::vector<T>)要先写 size,再循环序列化每个元素
  • 类内含虚函数或继承关系时,禁止直接序列化 this 指针——得靠类型 ID + 工厂反序列化

如何为一个类定义可序列化的接口

最轻量又可控的方式是手动实现两个成员函数:serialize 和 deserialize,参数传入一个可读写的字节缓冲区抽象(比如 std::vector<uint8_t>& 或自定义 Serializer 类)。

不建议模板特化或宏注入(如 Boost.Serialization 那套),它们隐藏控制流、调试困难、编译依赖重。手动写清楚每一步,反而容易加日志、插断点、做校验。

立即学习“C++免费学习笔记(深入)”;

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • serialize 函数负责把当前对象所有字段按确定顺序追加到 buffer 末尾(注意:不是覆盖)
  • deserialize 函数从 buffer 当前偏移开始逐个读取,**必须严格匹配 serialize 的顺序和大小**
  • 读写过程应返回 bool 表示是否成功(比如 buffer 不够长就 return false),不要抛异常——序列化层不该承担业务异常语义
  • 示例片段:
    struct Person {
        std::string name;
        int32_t age;
        std::vector<double> scores;
    <pre class='brush:php;toolbar:false;'>bool serialize(std::vector<uint8_t>& buf) const {
        // 写 name: len + data
        uint32_t len = static_cast<uint32_t>(name.size());
        uint32_t net_len = htonl(len);
        buf.insert(buf.end(), reinterpret_cast<const uint8_t*>(&net_len), 
                   reinterpret_cast<const uint8_t*>(&net_len) + sizeof(net_len));
        buf.insert(buf.end(), name.begin(), name.end());
    
        // 写 age (network byte order)
        int32_t net_age = htonl(age);
        buf.insert(buf.end(), reinterpret_cast<const uint8_t*>(&net_age), 
                   reinterpret_cast<const uint8_t*>(&net_age) + sizeof(net_age));
    
        // 写 scores size & elements
        uint32_t sz = static_cast<uint32_t>(scores.size());
        uint32_t net_sz = htonl(sz);
        buf.insert(buf.end(), reinterpret_cast<const uint8_t*>(&net_sz), 
                   reinterpret_cast<const uint8_t*>(&net_sz) + sizeof(net_sz));
        for (double d : scores) {
            uint64_t bits = std::bit_cast<uint64_t>(d); // C++20, or use memcpy
            uint64_t net_bits = bswap_64(bits); // host to big-endian
            buf.insert(buf.end(), reinterpret_cast<const uint8_t*>(&net_bits), 
                       reinterpret_cast<const uint8_t*>(&net_bits) + sizeof(net_bits));
        }
        return true;
    }

    };

如何安全地反序列化并避免越界/错位

反序列化比序列化危险得多:输入数据不可信,buffer 可能被截断、篡改或故意构造。核心原则是——**所有读操作前必须检查剩余长度,且每个字段读完后更新读位置**。

  • 别用全局偏移变量;用引用传入一个 size_t& offset,每次读完自动推进它
  • 字符串长度字段本身也要先校验(比如 len > 10*1024*1024 就拒绝,防内存爆炸)
  • 容器 size 字段若过大(如 > 1M),立刻返回 false;否则后续循环可能 OOM 或耗时过长
  • 对浮点数、整数做简单合理性校验(如 age 在 0–150 之间),不是必须,但能早发现数据损坏
  • 示例关键检查:
    bool deserialize(const std::vector<uint8_t>& buf, size_t& offset) {
        if (offset + sizeof(uint32_t) > buf.size()) return false;
        uint32_t net_len;
        memcpy(&net_len, &buf[offset], sizeof(net_len));
        offset += sizeof(net_len);
        uint32_t len = ntohl(net_len);
        if (len > 1024 * 1024) return false; // too big
        if (offset + len > buf.size()) return false;
        name.assign(reinterpret_cast<const char*>(&buf[offset]), len);
        offset += len;
    <pre class='brush:php;toolbar:false;'>if (offset + sizeof(int32_t) > buf.size()) return false;
    int32_t net_age;
    memcpy(&net_age, &buf[offset], sizeof(net_age));
    offset += sizeof(net_age);
    age = ntohl(net_age);
    // ... 后续同理

    }

版本兼容性怎么处理(新增字段、删字段、改类型)

没有银弹。最务实的做法是在序列化头部固定写入一个 uint16_t version,并在反序列化时根据 version 分支处理。不要试图“自动跳过未知字段”——那会让 bug 隐蔽且难以调试。

  • 新增字段:version 加 1,在 deserialize 中对老 version 填默认值(如 new_field = 0 或 new_field.clear())
  • 删除字段:保留读逻辑(但不存入成员),或在某个 version 后彻底移除读代码(前提是确认旧数据已清空)
  • 改类型(如 int32_t → int64_t):version 升级,老版读 int32_t 后零扩展;新版始终写 int64_t
  • 永远不要重用字段编号或 magic number;如果协议要长期演进,建议把 version 扩展为 uint32_t 并预留 flag 位

最容易被忽略的是:version 字段本身也必须用网络序写入,并且反序列化时第一个就读它——否则连判断分支的机会都没有。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

5579

2023.08.02

css中float用法
css中float用法

css中float属性允许元素脱离文档流并沿其父元素边缘排列,用于创建并排列、对齐文本图像、浮动菜单边栏和重叠元素。想了解更多float的相关内容,可以阅读本专题下面的文章。

5787

2024.04.28

C++中int、float和double的区别
C++中int、float和double的区别

本专题整合了c++中int和double的区别,阅读专题下面的文章了解更多详细内容。

644

2025.10.23

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1598

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2384

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

5884

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

5109

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

6834

2024.03.22

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

40

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn