讲师中心 微信公众号
AI工具推荐 视频效率加速

C#怎么处理大文件分片上传_C#断点续传与合并文件块【高级】

胖萱同学_8931

胖萱同学_8931

发布时间:2026-05-03 22:52:06

|

740人浏览过

|

来源于php中文网

原创

大文件分片上传需客户端显式传递文件guid、chunkIndex、totalChunks和chunkHash,固定4MB块大小,用SHA256校验,断点续传依赖服务端GET接口返回已传块列表,合并时流式写入并逐块校验。

c#怎么处理大文件分片上传_c#断点续传与合并文件块【高级】

大文件分片上传必须自己管理块序号和校验

直接用 HttpClient 发起多个并发 POST 请求本身不难,难点在于服务端无法自动识别哪块是哪块、是否重复、是否丢失。C# 客户端必须显式传递唯一标识(如文件 guid)、当前块索引(chunkIndex)、总块数(totalChunks)和块哈希(chunkHash),否则后端无法安全合并。

常见错误是只传 chunkIndex 不传 guid,导致不同用户上传同名文件时块混在一起;或跳过哈希校验,结果网络传输中某块被静默损坏,合并后文件打开失败但无提示。

  • 用 Path.GetTempFileName() 为每个上传任务生成临时 guid,全程复用,不依赖文件名
  • 块大小建议固定为 4 * 1024 * 1024(4MB),太小增加 HTTP 开销,太大内存压力高且重传成本高
  • 计算块哈希用 SHA256.HashData(chunkBytes),别用 MD5 —— .NET 6+ 中 MD5 已标记为不安全

断点续传靠服务端返回已上传块列表,不是客户端“记住”

客户端本地记录已传块(比如写进 upload_state.json)极不可靠:程序崩溃、磁盘满、用户删了临时文件,状态就丢了。真正健壮的断点续传,是每次上传前先发一个 GET /api/upload/chunks?fileId=xxx,让服务端返回它数据库里已存的 chunkIndex 列表。

这个接口必须幂等、轻量、带缓存头。如果服务端没实现这个接口,所谓“断点续传”只是心理安慰。

  • 请求该接口时加 If-None-Match 头,服务端用 ETag 缓存响应(例如 ETag: "chunks-{fileId}-v1")
  • 客户端收到 304 Not Modified 就复用上次的块列表,避免重复拉取
  • 若返回 200,解析 JSON 数组如 [0,2,4,5],跳过这些索引,只上传缺失的块(如 1,3,6…)

合并文件块必须用 FileStream 流式写入,禁用 File.WriteAllBytes

把所有块读进内存再拼成一个 byte[] 合并,1GB 文件 ≈ 1GB 内存占用,极易触发 OutOfMemoryException。正确做法是打开目标文件的 FileStream,按块索引顺序逐个打开对应临时块文件,用 stream.Write(chunkBytes, 0, chunkBytes.Length) 追加写入。

C#
C#

"避开 C# 常见错误——空陷阱、异步陷阱、LINQ 陷阱及资源泄漏。"

下载

注意:块文件不能用 File.ReadAllText 或 File.ReadAllBytes 加载,必须用 FileStream + BufferedStream 控制内存占用。

  • 合并前先校验每块哈希,任一块不匹配就抛异常,不继续合并
  • 用 FileMode.Create 打开目标文件,确保旧文件被清空;用 FileAccess.Write 和 FileShare.None 防止并发写冲突
  • 块文件合并完立刻 File.Delete(chunkPath),别等“清理任务”——进程退出时未删干净会导致磁盘占满

.NET 6+ 推荐用 IAsyncEnumerable<byte[]> 做流式分片读取

传统 FileStream.Read 配合 while 循环容易出边界错误(比如最后一块不足 4MB 时多读 0 字节)。.NET 6 引入的异步可枚举流更安全:

async IAsyncEnumerable<byte[]> ReadChunks(string filePath, int chunkSize = 4 * 1024 * 1024)
{
    await using var fs = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.Read, 4096, true);
    var buffer = new byte[chunkSize];
    int bytesRead;
    while ((bytesRead = await fs.ReadAsync(buffer, CancellationToken.None)) > 0)
    {
        yield return bytesRead == buffer.Length 
            ? buffer.Clone() as byte[] 
            : buffer.Take(bytesRead).ToArray();
    }
}

关键点:每次 yield return 都是新数组,避免后续修改影响前序块;buffer.Clone() 比 new byte[buffer.Length] 更快;FileOptions.Asynchronous 必须传 true,否则 ReadAsync 只是同步包装。

这个模式天然支持取消(传 CancellationToken)、进度回调(在 yield 前更新 UI)、以及与 IProgress<int> 集成——但别在 yield 里做耗时操作,会卡住整个枚举。

最易被忽略的是:服务端合并逻辑必须和客户端分片逻辑严格一致(比如都用 Math.Ceiling((double)fileLength / chunkSize) 算总块数),否则最后一块索引错位,整个文件就废了。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

讯飞智作

讯飞智作是一款AI视频创作工具,AI文本配音工具,数字人课程、营销视频制作。

相关专题

更多
c#是什么意思
c#是什么意思

C#是一种通用的面向对象编程语言,它在.NET框架上运行,可用于开发各种类型的应用程序。本专题为大家提供c#相关的各种文章、以及下载和课程。

1012

2023.08.08

什么是c#
什么是c#

C#(读作C Sharp)是一种现代的、通用的、面向对象的编程语言。它由微软公司开发,于2000年首次发布,主要用于开发Windows桌面应用程序、Web应用程序、移动应用程序以及游戏开发等领域。C#是一种类型安全和托管的编程语言,它结合了C++的强大性能和C语言的简单易学特点,并引入了许多新的特性和概念,如委托、属性、泛型和异步编程等,以提高开发效率和代码可维护性。

2911

2023.08.31

C#中base关键字的用法
C#中base关键字的用法

在C#中,base关键字用于访问当前类的基类成员,这包括基类的字段、属性、方法、构造函数、索引器以及事件。想了解更多C#的相关内容,可以阅读本专题下面的文章。

885

2024.03.13

C#Task用法
C#Task用法

Task在C#中是用于表示异步操作的对象,它位于System.Threading.Tasks命名空间中。想了解更多C#中各种用法的相关内容,可以阅读本专题下面的文章。

2615

2024.03.14

C# 并发与异步编程
C# 并发与异步编程

本专题系统讲解 C# 异步编程与并发控制,重点介绍 async 和 await 关键字、Task 类、线程池管理、并发数据结构、死锁与线程安全问题。通过多个实战项目,帮助学习者掌握 如何在 C# 中编写高效的异步代码,提升应用的并发性能与响应速度。

312

2026.02.03

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

389

2026.02.06

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

631

2026.03.11

C# Unity游戏开发与ECS架构实践
C# Unity游戏开发与ECS架构实践

本专题聚焦 C# 在 Unity 游戏开发中的应用,系统讲解 ECS(Entity-Component-System)架构设计、游戏对象管理、性能优化与内存控制策略。通过实际游戏案例,帮助开发者构建高性能、结构清晰的游戏系统,提高游戏开发效率与运行性能。

329

2026.04.13

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

80

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
C++ Core Guidelines
C++ Core Guidelines

共0课时 | 0人学习

C++ Reference
C++ Reference

共0课时 | 0人学习

C++ 官方标准说明
C++ 官方标准说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn