讲师中心 微信公众号
AI工具推荐 视频效率加速

C#流式处理大型JSON数组 C#如何逐个对象读取JSON文件中的数组元素

陌晨姑娘_5632

陌晨姑娘_5632

发布时间:2026-03-03 11:13:17

|

253人浏览过

|

来源于php中文网

原创

.NET 6+ 推荐用 JsonSerializer.DeserializeAsyncEnumerable 流式读取大型 JSON 数组,要求顶层为数组、流支持 Seek、指定元素类型;非纯数组或低版本需用 Utf8JsonReader 手动定位并逐项解析,注意 BOM 处理与边界控制。

c#流式处理大型json数组 c#如何逐个对象读取json文件中的数组元素

用 JsonSerializer.DeserializeAsyncEnumerable 流式读取大型 JSON 数组

这是 .NET 6+ 最直接的解法:不用把整个数组加载进内存,而是按需反序列化每个元素。前提是 JSON 文件结构是顶层为数组([{...}, {...}, ...]),且每个元素结构一致。

关键点:

  • DeserializeAsyncEnumerable 要求流必须支持 Seek(比如 FileStream),不能用已读完的 MemoryStream 或网络响应流直接传入
  • 必须指定元素类型(如 MyRecord),不能用 JsonElement —— 它不支持该 API
  • 底层仍会缓冲部分数据,但内存占用与单个对象大小成正比,而非整个文件

示例:

await using var stream = File.OpenRead("huge.json");
await foreach (var item in JsonSerializer.DeserializeAsyncEnumerable<MyRecord>(stream))
{
    Process(item); // 每次只 hold 一个对象
}

用 Utf8JsonReader 手动跳过非数组内容并逐项解析

当 JSON 不是纯数组(比如带根对象:{"data":[...]}),或需要兼容 .NET 5 及更早版本时,得手动控制读取流程。核心是跳过外层结构,定位到数组开始位置,再循环解析每个 JSON 对象。

常见错误:

  • 误把 JsonReaderState 当作可重用状态,实际每次 Utf8JsonReader 实例只能用一次
  • 没处理逗号分隔符或末尾空格,导致下一项读取失败
  • 在数组内遇到嵌套对象/数组时,没用 Depth 正确配对起止

实操建议:先用 reader.Read() 走到 JsonTokenType.StartArray,然后用 while (reader.TokenType != JsonTokenType.EndArray) 循环,在每次循环开头检查是否为 StartObject,再用 JsonSerializer.Deserialize<t>(ref reader)</t> 解析当前对象。

Json Repair Kit
Json Repair Kit

使用 Node.js 评估修复格式错误的 JSON,自动纠正尾随逗号、单引号、未加引号的键等常见问题,实现文件规范化。

下载

为什么不用 JsonDocument.Parse 或 JArray.Load

这两个方案都会将整个 JSON 加载为树形结构,内存峰值 ≈ 文件大小 + 对象开销。对 1GB 的 JSON 数组,很容易触发 OutOfMemoryException,尤其在 32 位进程或内存受限容器中。

它们适合的场景很明确:

  • JsonDocument:需要随机访问、多次查询同一份数据,且文件小于 100MB
  • JArray.Load(Newtonsoft):遗留项目、需动态 schema 或复杂 LINQ 查询,但同样全量加载

只要目标只是“顺序遍历每个对象并处理”,它们就是过度设计。

文件编码与 BOM 处理容易被忽略

如果 JSON 文件以 UTF-8 BOM(EF BB BF)开头,Utf8JsonReader 会报 JsonException: 'ï' is an invalid start of a value;而 DeserializeAsyncEnumerable 在 .NET 6 中默认不跳过 BOM,需手动处理。

稳妥做法:

  • 用 new FileStream(path, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, FileOptions.SequentialScan) 配合 StreamReader 检查 BOM 并跳过
  • 或直接用 File.ReadAllBytes 判断前 3 字节,再构造无 BOM 的 ReadOnlySpan<byte></byte> 传给 Utf8JsonReader
  • 避免用 File.OpenText() —— 它返回的 StreamReader 流无法直接用于 Utf8JsonReader

流式处理的真正难点不在解析逻辑,而在边界控制和错误恢复 —— 比如某一行 JSON 格式错误时,是跳过该对象继续,还是中断整个流程?这得结合业务容忍度决定。

热门AI工具

更多
AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

1052

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

3091

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

905

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2635

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

332

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

409

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

100

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 21.2万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 4.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn