讲师中心 微信公众号
AI工具推荐 视频效率加速

rapidjson库怎么高效解析超大JSON文件

小明君_1517

小明君_1517

发布时间:2026-10-03 14:15:36

|

431人浏览过

|

来源于php中文网

原创

FileReadStream可避免超大JSON文件解析时内存爆炸,需用"rb"模式打开文件、合理设置缓冲区(如64KB)、手动fclose、检查ParseResult错误码及偏移量、预分配MemoryPoolAllocator并确保其生命周期覆盖Document使用期。

rapidjson库怎么高效解析超大json文件

用 FileReadStream 避免内存爆炸

超大 JSON 文件(比如几百 MB 甚至 GB 级)直接用 doc.Parse(json_str) 会把整个文件读进内存再解析,极易 OOM。RapidJSON 提供的 FileReadStream 是专为这事设计的——它不加载全文,而是按块读、边读边解析。

关键点在于缓冲区大小和文件打开模式:

  • 必须用 "rb" 模式打开文件(二进制),否则 Windows 下换行符可能被误转,导致解析偏移错乱
  • 缓冲区不是越大越好:64KB 是默认推荐值;超过 100MB 的文件可设为 256KB,但别盲目堆到 1MB——过大会拖慢缓存局部性,反而降低吞吐
  • FileReadStream 内部不 owns 文件指针,fclose(fp) 必须由你手动调用,漏关会导致句柄泄漏
FILE* fp = fopen("huge.json", "rb");
if (!fp) { /* handle error */ }
char buffer[65536];
FileReadStream is(fp, buffer, sizeof(buffer));
Document doc;
ParseResult result = doc.ParseStream(is);
fclose(fp); // 别忘这句

解析失败时必须检查 ParseResult,不能只看 doc.IsObject()

很多人写成 if (doc.IsObject()) { ... } 就开始取字段,这是危险的。一旦解析出错,doc 处于未定义状态,后续访问会 crash 或返回垃圾值。

ParseStream() 返回 ParseResult(本质是 bool),它携带两个关键信息:Code() 和 Offset():

  • result.Code() == kParseErrorNone 才算真正成功
  • result.Offset() 指向出错字符在原始流中的字节位置,配合 GetParseError_En(result.Code()) 能准确定位是缺引号、多逗号,还是编码非法
  • 错误码不是 errno 风格,不要用 strerror();必须包含 "rapidjson/error/en.h" 才能用 GetParseError_En

避免反复分配:预设 MemoryPoolAllocator 容量

超大 JSON 解析时,Document 默认的 MemoryPoolAllocator 会按需申请多个 64KB Chunk。频繁分配本身有开销,更糟的是——如果 JSON 嵌套极深或数组极大,可能触发 Chunk 链表遍历,影响性能。

Feishu calendar sync, local ics to json data for AI agent
Feishu calendar sync, local ics to json data for AI agent

将ICS日历文件转为JSON格式,用于飞书日历导入导出及数据集成。

下载

更稳的做法是预估节点数,一次性分配足够大的池:

  • 每个 Value 节点在 64 位平台占 16 字节(不含字符串内容),粗略按 JSON 字符数 ÷ 10 估算节点数(经验系数)
  • 用 MemoryPoolAllocator 构造时传入初始容量,例如 MemoryPoolAllocator(1024 * 1024) 预分配 1MB 池空间
  • 把这个 allocator 传给 Document 构造函数,而不是依赖默认构造: Document doc(kParseDefaultFlags, &myAllocator)
  • 注意:这个 allocator 不能跨 Document 复用;每次解析新文档,应新建 allocator 或重置(Clear())

流式解析后别直接改树,小心内存池生命周期

用 ParseStream() 解析完,Document 的所有节点都来自那个 MemoryPoolAllocator。如果你之后调用 doc.AddMember() 或 PushBack(),新增节点仍从同一池分配——这没问题;但若你把 doc 存活时间拉得很长(比如塞进全局缓存),而 allocator 是栈变量或短生命周期对象,就会悬垂引用。

安全做法只有两种:

  • 解析 + 使用 + 销毁全在同一个作用域内,allocator 和 doc 同生共死
  • 需要长期持有,就用 CrtAllocator(标准 malloc/free)替代,虽然慢一点,但内存归属清晰: Document doc(kParseDefaultFlags, CrtAllocator())

最易被忽略的一点:FileReadStream 的缓冲区(比如你定义的 char buffer[65536])必须在整个解析过程中保持有效——不能是函数栈上临时数组且函数已返回。否则解析中途读到野指针区域,行为未定义。

热门AI工具

更多
音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

3956

2023.06.20

js获取当前时间
js获取当前时间

JS全称JavaScript,是一种具有函数优先的轻量级,解释型或即时编译型的编程语言;它是一种属于网络的高级脚本语言,主要用于Web,常用来为网页添加各式各样的动态功能。js怎么获取当前时间呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1255

2023.07.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

1598

2023.08.03

js是什么意思
js是什么意思

JS是JavaScript的缩写,它是一种广泛应用于网页开发的脚本语言。JavaScript是一种解释性的、基于对象和事件驱动的编程语言,通常用于为网页增加交互性和动态性。它可以在网页上实现复杂的功能和效果,如表单验证、页面元素操作、动画效果、数据交互等。

9443

2023.08.17

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

880

2023.09.01

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

2384

2023.09.04

Js中concat和push的区别
Js中concat和push的区别

Js中concat和push的区别:1、concat用于将两个或多个数组合并成一个新数组,并返回这个新数组,而push用于向数组的末尾添加一个或多个元素,并返回修改后的数组的新长度;2、concat不会修改原始数组,是创建新的数组,而push会修改原数组,将新元素添加到原数组的末尾等等。本专题为大家提供concat和push相关的文章、下载、课程内容,供大家免费下载体验。

1469

2023.09.14

js截取字符串的方法介绍
js截取字符串的方法介绍

JavaScript字符串截取方法,包括substring、slice、substr、charAt和split方法。这些方法可以根据具体需求,灵活地截取字符串的不同部分。在实际开发中,根据具体情况选择合适的方法进行字符串截取,能够提高代码的效率和可读性 。

4029

2023.09.21

LLVM自定义Pass怎么写
LLVM自定义Pass怎么写

本专题聚焦LLVM自定义Pass开发,整理Pass类结构、run()方法、PreservedAnalyses、CMake构建、插件注册、-load-pass-plugin加载和测试用例编写流程。

40

2026.09.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
swift开发文档
swift开发文档

共33课时 | 43.3万人学习

尚学堂Swift入门视频教程
尚学堂Swift入门视频教程

共44课时 | 16.6万人学习

SSDB数据库使用手册
SSDB数据库使用手册

共21课时 | 24.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn