讲师中心 微信公众号
AI工具推荐 视频效率加速

c++如何解析PostgreSQL的二进制拷贝格式【进阶】

陌伟酱_3589

陌伟酱_3589

发布时间:2026-04-10 21:54:04

|

623人浏览过

|

来源于php中文网

原创

PostgreSQL二进制COPY格式以11字节魔数PGCOPY\n\377\r\n\0开头,后跟标志位、头长度、字段描述块(含OID与修饰符),再是带长度前缀的行数据;所有长度为大端序,需ntohl()转换,字段类型须依OID按规范解包。

c++如何解析postgresql的二进制拷贝格式【进阶】

PostgreSQL二进制COPY格式的结构到底长什么样

它不是简单字节流,而是一个带魔数、字段描述块和行数据块的协议级格式。开头 11 字节固定魔数 PGCOPY\n\377\r\n\0(注意 \377 是八进制,即 0xFF),接着是标志位(16 位整数,通常为 0)、头长度(32 位,通常是 0x18)。之后才是字段数量、每个字段的 OID 和修饰符(用于类型推导),最后才是实际元组数据。

关键点在于:字段描述块只出现一次,但每行数据前都有一个 32 位长度前缀(表示该行字节长度),行内每个字段又以 32 位长度前缀开头——这些长度都是网络字节序(大端),必须用 ntohl() 转换。

常见错误现象:Invalid message type 或读到乱码,往往是没校验魔数、或忘了字节序转换导致长度解析错位,后续全部偏移。

如何用C++安全读取并还原int4、text、timestamp等常见类型

不能直接 reinterpret_cast,必须按 PostgreSQL 的二进制格式规范解包。例如:

立即学习“C++免费学习笔记(深入)”;

  • int4:4 字节大端有符号整数 → 用 ntohl() 转后强转 int32_t
  • text / varchar:先读 4 字节长度 L,再读 L 字节 raw data;它不以 \0 结尾,且可能含 \0 —— 必须用 std::string(data, len) 构造,不能用 C 字符串函数
  • timestamp(无时区):8 字节大端整数,表示自 2000-01-01 00:00:00 UTC 起的微秒数;需转为 std::chrono::system_clock::time_point 时注意 epoch 偏移
  • bool:1 字节,值为 0 或 1,非 C++ 的 true/false

OID 是关键线索:字段描述块中每个字段带 atttypid(类型 OID),需查 PostgreSQL 系统表(如 pg_type)映射到具体类型。硬编码 OID(如 23→int4、25→text、1184→timestamptz)可行但脆弱;生产环境建议预加载 OID 映射表。

C++ Code Review Master
C++ Code Review Master

组合式C++代码评审方案,融合静态分析、AI推理、多轮迭代评审和C++专项检查,适用于PR审查、增量代码审查、全项目评审和代码质量评分,触发词包括review cpp、cpp代码评审、C++review、代码审查。

下载

为什么直接用libpq的PQgetCopyData会更稳

自己解析二进制 COPY 容易漏掉边界条件:NULL 字段用 -1 长度标记、对齐填充(某些类型如 numeric 有内部结构)、数组/复合类型的嵌套格式。而 PQgetCopyData() 在 libpq 内部已处理魔数校验、长度解析、缓冲区管理,你只需按返回的 int 值判断状态(>0 是数据长度,0 是结束,-1 是错误,-2 是需要等待)。

实操建议:

  • 调用 PQputCopyEnd() 后,**必须循环调用 PQgetCopyData() 直到返回 0**,否则残留数据会卡在连接状态里
  • 返回的数据指针由 libpq 管理,**不可长期持有或跨调用复用**,需立即 memcpy 或 move
  • 若启用了 SSL,libpq 自动处理加解密后的二进制流,你不用额外干预

性能影响:libpq 封装几乎没有额外开销,反而避免了手动解析中的重复内存拷贝和边界检查失误。

遇到numeric、jsonb、geometry这类复杂类型怎么办

它们没有标准跨语言二进制 ABI,PostgreSQL 的二进制格式是服务器内部约定,文档极少公开细节。例如 numeric 是变长结构,含权重、小数位数、数字数组;jsonb 是自定义二进制树形结构;geometry(PostGIS)更是依赖 WKB 标准但带 PostgreSQL 扩展头。

务实做法:

  • 优先走文本 COPY:设置 COPY ... TO STDOUT WITH (FORMAT text),用 CSV 或制表符分隔,类型转换交给客户端 string parsing(如 std::stod、nlohmann::json::parse)
  • 对 jsonb / xml 等,服务端转成 text 再传输,比逆向解析二进制格式可靠得多
  • 真要解析 numeric?参考 PostgreSQL 源码 src/backend/utils/adt/numeric.c 中 numeric_recv() 实现,但需同步维护其 ABI 兼容性——升级 PG 小版本都可能破坏

最容易被忽略的是:即使你完整实现了 numeric 解析,PostgreSQL 不保证二进制格式向后兼容;而文本格式只要 SQL 层语义不变,就始终可用。

相关文章

c++速学教程(入门到精通)
c++速学教程(入门到精通)

c++怎么学习?c++怎么入门?c++在哪学?c++怎么学才快?不用担心,这里为大家提供了c++速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

c++

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

4183

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

891

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

1089

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

6081

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2963

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

6060

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

8141

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

1110

2024.04.29

PixTV官网入口地址合集
PixTV官网入口地址合集

本专题汇总了 PixTV AI 一站式视频创作平台的官方入口与使用教程。无需下载软件,浏览器直接访问即可使用。平台将剧本、图像、视频、声音与剪辑整合在“无限画布”中,接入 GPT Image 2.5、Seedance 2.5 等头部模型。本专题整理了从新建画布、角色锚定、分镜拆分到视频生成与导出的完整操作指南,助你快速上手 AI 短剧与漫剧创作。

40

2026.10.10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn