讲师中心 微信公众号
AI工具推荐 视频效率加速

C#文件流与管道(Pipe) C#如何将文件流连接到System.IO.Pipelines

秋瑶君_7064

秋瑶君_7064

发布时间:2026-03-03 09:02:52

|

320人浏览过

|

来源于php中文网

原创

必须手动分块读取 FileStream 并写入 PipeWriter:用 ReadAsync + GetMemory + Advance + FlushAsync 协同控制背压,读完后调 FlushAsync 再 CompleteAsync;禁用 CopyToAsync 和 StreamPipeReader,避免同步 I/O 卡死和内存管理失效。

c#文件流与管道(pipe) c#如何将文件流连接到system.io.pipelines

怎么把 FileStream 接到 PipeWriter 上

不能直接塞,PipeWriter 不接受 Stream,它只认 ReadOnlyMemory<byte></byte> 或异步写入操作。你得自己读文件、分块送进去,再手动处理背压和完成信号。

常见错误是用 stream.CopyToAsync(pipe.Writer.AsStream()) —— 这会绕过管道的内存管理,丢失节流能力,还可能触发 InvalidOperationException:“PipeWriter has been completed.”

  • 用 Pipe 自带的 Writer,别转成 Stream 再套一层
  • 读文件用 FileStream.ReadAsync 配合栈分配的 Memory<byte></byte>(比如 stackalloc byte[8192]),避免 GC 压力
  • 每次 WriteAsync 后必须调用 FlushAsync,否则数据卡在内存里不出去
  • 文件读完后要 await writer.CompleteAsync(),否则下游永远等不到 IsCompleted 为 true

为什么不能用 StreamPipeReader 包装 FileStream

StreamPipeReader 是为“可随时读取的流”设计的,比如网络流或内存流;而 FileStream 在某些场景下(如打开时没加 FileOptions.Asynchronous)会退化为同步 I/O,导致 StreamPipeReader 内部线程池卡死,出现高延迟或 TimeoutException。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载
  • Windows 上默认创建的 FileStream 若没显式传 FileOptions.Asynchronous,即使调 ReadAsync 也可能是同步完成的
  • StreamPipeReader 依赖底层流真正异步,否则它的内部缓冲策略会失效
  • 实测中,大文件传输时吞吐量可能比手写循环低 30% 以上,因为多了一层拷贝 + 锁竞争

如何安全地边读文件边写 PipeWriter(含背压)

核心是把文件读取和管道写入做成一个协同节奏:读一块、等写完、再读下一块。靠 PipeWriter.GetMemory() 和 Advance() 控制内存生命周期,而不是预分配大 buffer。

var buffer = writer.GetMemory(8192);
var read = await fileStream.ReadAsync(buffer, cancellationToken);
if (read == 0) break;
writer.Advance(read);
await writer.FlushAsync(cancellationToken);
  • 不要假设 GetMemory(n) 一定返回 n 字节 —— 它可能更少,尤其管道快满时,得检查 .Length
  • 每次 Advance() 后必须 FlushAsync(),否则 GetMemory() 下次可能返回 0 长度
  • 如果文件很大,建议在循环里加 cancellationToken.ThrowIfCancellationRequested(),否则中断时 CompleteAsync 可能被跳过

PipeReader 消费端收不到 EOF?检查 Complete 调用时机

很多问题不是流没读完,而是 writer.CompleteAsync() 调早了:比如在 ReadAsync 返回 0 之后立刻 Complete,但上一批数据还没 Flush 完,导致下游 reader.ReadAsync() 先拿到数据、再等半天才收到 IsCompleted。

  • 正确顺序是:ReadAsync → if (0) { await writer.FlushAsync(); await writer.CompleteAsync(); }
  • 如果用了 try/finally 做清理,确保 CompleteAsync 在 FlushAsync 之后,且不被异常跳过
  • 下游用 while (!reader.IsCompleted) 循环时,记得每次 ReadResult 后调 reader.AdvanceTo(),否则管道内存不释放,很快 OOM
实际跑起来最易忽略的是 FlushAsync 的必要性 —— 它不像 Stream.Flush() 那样可选,而是管道数据流动的开关。漏掉一次,整个链路就卡住,还很难定位。

热门AI工具

更多
PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

1072

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

3151

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

905

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2655

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

332

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

429

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn