讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何解析二进制协议中的变长整型(Varint)数据编码【附代码】

风墨吖_4030

风墨吖_4030

发布时间:2026-04-07 14:07:31

|

262人浏览过

|

来源于php中文网

原创

Varint 是 Protocol Buffers 中用于紧凑编码无符号整数的变长字节序列,C++ 解析易出错因无内置支持,手动解析需逐字节处理 continuation bit、防溢出、限长 10 字节,并区分 int32/uint32/sint32 对应的 ZigZag 解码。

c++如何解析二进制协议中的变长整型(varint)数据编码【附代码】

Varint 是什么,为什么 C++ 解析时容易出错

Varint 不是标准类型,而是 Protocol Buffers 等二进制协议中用于紧凑编码整数的变长字节序列:小数字用 1 字节,大数字最多用 10 字节(64 位)。C++ 没有内置解析函数,直接 memcpy 或强制类型转换会读错字节顺序、忽略 continuation bit(最高位 1 表示后续还有字节),导致解析结果远小于真实值,甚至死循环。

常见错误现象:ReadVarint64 返回 0 或极小值;读取后指针未正确前移,下一次解析从中间字节开始;对负数直接解析(Varint 只编码无符号整数,有符号数需额外 ZigZag 解码)。

手动解析 Varint 的核心逻辑与边界处理

本质是按字节读取,每次取低 7 位拼接,直到某字节最高位为 0。关键在指针移动、溢出检查和最大长度限制(防恶意输入)。

  • 必须逐字节判断 byte & 0x80 是否为真,决定是否继续读
  • 每次拼接前检查是否已读满 10 字节(uint64_t 最多需 10 字节 Varint),超限立即返回错误
  • 用 static_cast<uint8_t></uint8_t> 强制截断,避免符号扩展干扰低 7 位提取
  • 拼接时用 value |= (static_cast<uint64_t>(byte & 0x7F) ,shift 每轮加 7</uint64_t>

示例片段(不依赖 protobuf 库):

立即学习“C++免费学习笔记(深入)”;

bool ReadVarint64(const char** ptr, const char* limit, uint64_t* out) {
  const char* p = *ptr;
  uint64_t value = 0;
  int shift = 0;
  while (p < limit && shift < 64) {
    unsigned char byte = static_cast<unsigned char>(*p++);
    value |= static_cast<uint64_t>(byte & 0x7F) << shift;
    if ((byte & 0x80) == 0) {
      *out = value;
      *ptr = p;
      return true;
    }
    shift += 7;
  }
  return false; // 超长或越界
}

ProtoBuf 中的 ReadVarint32 和 ReadVarint64 怎么用

如果你已在项目中引入 protobuf(如 google/protobuf/io/coded_stream.h),优先复用其经过充分测试的实现,它们已处理字节序、缓冲区边界、恶意输入等细节。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载
  • 必须先构造 google::protobuf::io::CodedInputStream,传入原始 buffer 和 size
  • ReadVarint32 返回 bool,成功时通过引用参数输出值;失败可能是 buffer 不足或格式错误
  • 注意:该类默认启用 aliasing(允许 buffer 复用),若 buffer 生命周期短于 stream,需调用 SetTotalBytesLimit 防止越界读

简短调用示例:

const char* data = ...;
int size = ...;
google::protobuf::io::ArrayInputStream input(data, size);
google::protobuf::io::CodedInputStream coded(&input);
coded.SetTotalBytesLimit(1024 * 1024); // 防止过大 payload
uint32_t val;
if (!coded.ReadVarint32(&val)) {
  // 解析失败
}

有符号整数(int32/int64)要额外做 ZigZag 解码

Varint 编码的是无符号整数,但 proto 中的 sint32 / sint64 使用 ZigZag 编码映射负数到正数空间(例如 -1 → 1,-2 → 3),再用 Varint 存储。漏掉这步会导致所有负数全解析成极大正数。

ZigZag 公式固定:

  • sint32: (n > 31)
  • sint64: (n > 63)

实际使用时,先用前述方法读出 uint32_t 或 uint64_t,再套公式。protobuf 库的 ReadVarint32 等函数不自动 ZigZag,必须手动调用 google::protobuf::internal::WireFormatLite::ZigZagDecode32 等辅助函数,或自己实现。

最易被忽略的是:Varint 本身没有“符号”概念,所有符号处理都发生在上层协议定义层面。哪怕只解析一个字段,也得先确认它在 .proto 中声明的是 int32、uint32 还是 sint32——三者底层 Varint 数据相同,解码逻辑却完全不同。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

LibLibAI
LibLibAI Hot

一款AI视频创作工具,主要用于国内领先的AI创意平台,以海量模型、低门槛操作与“创作-分享-商业化”生态,让小白与专业创作者都能高效实现图文乃至视频创意表达,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
java进行强制类型转换
java进行强制类型转换

强制类型转换是Java中的一种重要机制,用于将一个数据类型转换为另一个数据类型。想了解更多强制类型转换的相关内容,可以阅读本专题下面的文章。

1898

2023.12.01

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

339

2026.04.23

C++ 智能指针与现代内存管理
C++ 智能指针与现代内存管理

深入讲解 C++ 现代内存管理的核心工具——智能指针,涵盖 unique_ptr 独占所有权语义、shared_ptr 引用计数机制与循环引用问题、weak_ptr 弱引用的应用场景、make_unique/make_shared 工厂函数的性能优势、自定义删除器的编写、RAII 资源管理思想的实践,以及从裸指针迁移到智能指针的重构策略,帮助开发者编写安全无泄漏的现代 C++ 代码。

339

2026.04.23

C++类型转换方式
C++类型转换方式

本专题整合了C++类型转换相关内容,想了解更多相关内容,请阅读专题下面的文章。

2222

2025.07.15

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

Kratos框架HTTP与gRPC服务开发教程
Kratos框架HTTP与gRPC服务开发教程

本专题围绕Kratos框架双协议服务开发,涵盖HTTP路由与处理器编写、参数获取、gRPC服务实现与客户端调用、metadata上下文传递、encoding编解码注册、统一响应封装、超时控制与流式响应实现方法。

20

2026.10.10

Kratos框架Protobuf接口定义与代码生成合集
Kratos框架Protobuf接口定义与代码生成合集

本专题讲解Kratos框架接口定义体系,涵盖proto编写规范、proto add/client/server生成命令、http注解路由、validate校验、OpenAPI文档生成、跨服务proto复用与兼容性设计。

0

2026.10.10

C++虚函数怎么定义和调用
C++虚函数怎么定义和调用

C++虚函数是实现运行时多态的重要机制。本专题从virtual关键字的基本用法入手,介绍基类与派生类之间的函数重写、基类指针调用派生类方法,以及动态绑定的执行过程,帮助初学者掌握虚函数的核心语法。

20

2026.10.10

C++类与对象的封装方法教程
C++类与对象的封装方法教程

C++封装是面向对象编程的核心特性之一,通过类将数据与操作数据的函数组织在一起,并利用访问权限控制外部访问。本专题介绍类的定义、成员变量、成员函数以及public、private和protected的使用方法,帮助初学者掌握封装的基本原理。

20

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn