c.FormFile不能用于大文件流式上传,因其依赖ParseMultipartForm默认32MB内存限制,会将整个multipart body加载进内存再解析,导致OOM或400错误,且r.Body被提前消费致后续io.Copy读EOF;必须改用c.Request.MultipartReader()流式分片处理。

为什么c.FormFile不能用于大文件流式上传
因为 c.FormFile 会触发 r.ParseMultipartForm(32(默认 32MB 内存缓存),把整个 multipart body 读进内存再解析,哪怕你只想要一个字段——对 GB 级文件,这直接 OOM。它返回的 <code>*multipart.FileHeader 只是元数据快照,file.Open() 才真正读内容,但此时 r.Body 已被消费完,后续 io.Copy 会读到 EOF。
真正流式上传必须绕过它,从原始 r.Body 分块读取:
- 开头第一行调
r.ParseMultipartForm(0),禁用自动解析 - 用
r.MultipartReader()获取标准multipart.Reader - 循环
reader.NextPart(),按part.FormName()匹配文件字段 - 拿到
part(它本身是io.Reader)后,直接io.Copy到磁盘或远端存储
如何在Fiber中安全限制上传总大小
http.MaxBytesReader 是唯一可靠的前置防线,必须放在 handler 最顶部、任何表单操作之前。Fiber 没有全局上传钩子,中间件挂错位置就失效。
正确写法:
立即学习“go语言免费学习笔记(深入)”;
r := c.Request() r.SetBodyStream(http.MaxBytesReader(c.Context(), r.Body, 10<<20), -1) // 10MB 总请求体上限
注意三点:
使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器,提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象,支持命名依赖等
- 这个限制包含所有文本字段 + 所有文件字节总和,不是“仅文件”
-
file.Size来自 multipart boundary 解析,客户端可伪造,仅作业务层二次校验 - 若用
c.SaveFile,它底层仍会调part.Open()→io.Copy,所以MaxBytesReader必须提前生效,否则无效
下载时怎么支持断点续传(Range 请求)
Fiber 默认不处理 Range 头,直接 c.SendFile 或 io.Copy 会忽略客户端拖拽、暂停重连等行为,导致视频卡顿、续传失败。
必须手动实现 Content-Range 响应逻辑:
- 用
os.OpenFile(path, os.O_RDONLY, 0)打开,确保支持Seek - 先
stat获取文件总长度,校验Range: bytes=0-1023是否越界 - 设置响应头:
Accept-Ranges: bytes、Content-Range、Content-Length - 用
io.Copy时,对r.Body做io.LimitReader(file, length)截断,而非全量读
别依赖 http.ServeContent——它要求传入的 io.ReadSeeker 能正确响应 Seek(0, io.SeekStart),而某些 NFS 或容器挂载盘会失败。
缓冲区大小对吞吐影响有多大
io.Copy 默认 32KB 缓冲,在本地 SSD 上尚可;但在 NFS、Ceph、云盘等高延迟存储上 syscall 过多,实测吞吐下降 3–5 倍。这不是理论问题,是线上真实瓶颈。
优化方式很简单:
- 下载/上传到磁盘时,用
io.CopyBuffer(w, r, make([]byte, 1(1MB 缓冲) - 别用
sync.Pool复用缓冲切片——压测反而更慢,GC 开销抵消收益 - 若上游不可控(如反向代理),给
Write加time.AfterFunc超时监控,防 hang
缓冲区不是越大越好:1MB 对千兆内网够用,但对低带宽公网可能增加首字节延迟;需按实际链路测试调整。

















