讲师中心 微信公众号
AI工具推荐 视频效率加速

C#如何使用Yield处理海量数据_C#流式读取数据库并导出【性能】

大磊酱_4411

大磊酱_4411

发布时间:2026-05-02 19:19:00

|

327人浏览过

|

来源于php中文网

原创

yield本身不提速,但配合DbDataReader或IAsyncEnumerable<T>可实现零缓冲流式处理;关键在于全程避免内存堆积,从SQL精简、SequentialAccess、AsNoTracking到流式Excel写入缺一不可。

c#如何使用yield处理海量数据_c#流式读取数据库并导出【性能】

Yield 本身不提速,但它是实现真正流式处理的必要语法糖;关键在配合 DbDataReader 或 IAsyncEnumerable<T> 避免内存堆积。

为什么 yield return 不能直接加速数据库读取

很多人误以为只要把方法改成 yield return 就能“流式导出”,其实不然。如果底层还是用 DataTable.Load() 或 ToList() 把全部结果塞进内存,yield 只是把已加载完的大集合“假装”成迭代器,毫无意义。

  • 真正起作用的是:数据源必须支持逐行拉取(如 DbDataReader),且消费方不缓存整批结果
  • yield 的价值是让方法返回 IEnumerable<T> 或 IAsyncEnumerable<T>,从而把“何时读、读多少”的控制权交给调用方
  • 若导出逻辑里有 .ToArray()、.Count()、First() 等触发立即执行的操作,整个流就提前终结了

用 yield + DbDataReader 实现零缓冲流式读取

这是最贴近“边读边导”的做法,适用于 MySQL、SQL Server、SQLite 等所有支持原生 DbDataReader 的 ADO.NET 提供程序。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载
  • 必须传入打开的 DbCommand,并指定 CommandBehavior.SequentialAccess,否则驱动仍会预加载整结果集
  • 不能调用 reader.GetOrdinal() 或按列名访问——要按顺序读,且只能读一次(不可回退)
  • 示例核心结构:
public static async IAsyncEnumerable<Order> ReadOrdersAsync(DbCommand cmd)
{
    await using var reader = await cmd.ExecuteReaderAsync(CommandBehavior.SequentialAccess);
    while (await reader.ReadAsync())
    {
        yield return new Order
        {
            Id = reader.GetInt32(0),
            Name = reader.GetString(1),
            Amount = reader.GetDecimal(2)
        };
    }
}
  • 调用时直接对接 Excel 写入器(如 MiniExcel.SaveAsAsync()),不经过中间集合
  • 注意:SQL 查询必须精简字段,避免 SELECT * ——多一个 nvarchar(max) 字段就可能让单行内存翻倍

EF Core 中如何安全使用 AsAsyncEnumerable() 替代 yield

EF Core 6+ 原生支持 AsAsyncEnumerable(),它底层封装了 DbDataReader 流式行为,比手写 yield 更可靠,也更易维护。

  • 必须关闭跟踪:AsNoTracking(),否则每行都会被 EF 缓存并建立变更追踪
  • 禁止在查询中调用 Include() 多表关联——这会导致笛卡尔积膨胀,失去流式意义
  • 不能用 OrderBy().Skip().Take() 分页,应改为主键范围查询(如 WHERE id > @lastId LIMIT 1000)
  • 示例:
await foreach (var order in context.Orders
    .Where(x => x.CreatedAt >= startDate)
    .AsNoTracking()
    .AsAsyncEnumerable())
{
    await excelWriter.WriteRowAsync(order); // 直接写入,不暂存
}
  • 若需映射到 DTO,用 Select() 投影而非 AsNoTracking().Select(...).AsAsyncEnumerable() ——后者仍会走实体构建流程

导出环节最容易被忽略的三个内存爆点

即使读取端完全流式,导出阶段仍可能瞬间吃光内存,尤其在用 EPPlus 时。

  • ExcelPackage 默认将整个工作簿保留在内存中;百万行导出前务必启用流式模式:new ExcelPackage(new FileInfo(path), true)(true 表示 stream-based)
  • MiniExcel 是目前唯一默认流式写入的库,SaveAsAsync() 内部直接写入 FileStream,无需额外配置
  • 千万别在循环里反复调用 worksheet.Cells[row, col].Value = xxx ——每次访问都触发内部对象创建;应改用 worksheet.Cells["A1:Z1000000"].LoadFromCollection(...) 批量加载(但仅限小批量,大集合仍会内存溢出)

真正的流式不是“选个库就行”,而是从 SQL 查询、DataReader 行为、DTO 构建、Excel 写入四个环节全部切断内存缓存链路。任何一个环节偷偷缓存,前面所有优化都归零。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

c#

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

872

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

2351

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

805

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2575

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

272

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

349

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

591

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

289

2026.04.13

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

60

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Conan 2 Essentials 免费课程
Conan 2 Essentials 免费课程

共0课时 | 0人学习

CMake 与 Conan 集成实践
CMake 与 Conan 集成实践

共0课时 | 0人学习

Conan 2 高级依赖模型介绍
Conan 2 高级依赖模型介绍

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn