本文介绍如何使用 io.Pipe 和 goroutine 实现从 os.Stdin 到 HTTP POST 请求的流式 multipart 文件上传，完全规避将整个文件读入内存的问题，适用于 GB 级大文件上传场景。
本文介绍如何使用 io.pipe 和 goroutine 实现从 os.stdin 到 http post 请求的流式 multipart 文件上传，完全规避将整个文件读入内存的问题，适用于 gb 级大文件上传场景。
在 Go 中，使用 multipart.Writer 构建表单数据时，若直接将 bytes.Buffer 作为请求体，io.Copy(part, os.Stdin) 会将全部输入内容写入内存缓冲区，导致上传超大文件（如数 GB）时触发 OOM 风险。根本解法是解除“读取”与“发送”的同步耦合，改用流式管道（streaming pipeline）——即让 HTTP 客户端边读边发，服务端边收边处理。
核心思路是：
✅ 使用 io.Pipe() 创建一对关联的 io.Reader（供 http.Request 读取）和 io.Writer（供 multipart.Writer 写入）；
✅ 在独立 goroutine 中执行 io.Copy，将 os.Stdin 数据持续写入 multipart.Writer，再由其写入 pipe 的 Writer 端；
✅ 主协程立即构造 http.Request，以 pipe 的 Reader 为请求体，无需等待写入完成；
✅ HTTP 客户端底层 net/http 会在需要时从 Reader 拉取数据，实现真正的零拷贝流式传输（实际为一次内存拷贝，但无全量缓存）。
以下是优化后的完整实现：
func newFileUploadRequest(uri string) (*http.Request, error) {
r, w := io.Pipe()
writer := multipart.NewWriter(w)
// 启动 goroutine 异步写入 multipart 数据
go func() {
defer w.Close() // 确保 pipe 正常关闭（即使出错也应关闭）
part, err := writer.CreateFormFile("file", "file")
if err != nil {
w.CloseWithError(err)
return
}
// 将标准输入流式写入表单字段
_, err = io.Copy(part, os.Stdin)
if err != nil {
w.CloseWithError(err)
return
}
// 关闭 multipart writer，生成边界结束符
err = writer.Close()
if err != nil {
w.CloseWithError(err)
return
}
}()
req, err := http.NewRequest("POST", uri, r)
if err != nil {
return nil, err
}
req.Header.Set("Content-Type", writer.FormDataContentType())
return req, nil
}
func main() {
req, err := newFileUploadRequest("http://localhost:8080/upload")
if err != nil {
log.Fatal("构建请求失败:", err)
}
client := &http.Client{}
resp, err := client.Do(req)
if err != nil {
log.Fatal("请求发送失败:", err)
}
defer resp.Body.Close()
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal("读取响应失败:", err)
}
fmt.Println(string(body))
}⚠️ 关键注意事项：
-
io.Pipe()返回的*io.PipeReader不支持Seek()，因此该方案不适用于需要重试、重定向或多次读取请求体的场景（如某些中间件自动重试逻辑）； -
w.CloseWithError(err)是错误传播的关键：它会中断r.Read()并返回对应错误，确保客户端能及时感知写入失败； -
defer w.Close()应置于 goroutine 开头，保证无论成功或失败均释放资源； - 服务端需具备流式解析 multipart 的能力（如使用
r.MultipartReader()或form.ParseMultipart()），避免调用ParseForm()（会尝试读取全部 body 到内存）； - 若需上传多个字段，可在 goroutine 中先写入其他
writer.WriteField(...)，再写入文件流，顺序须与FormDataContentType()生成的 boundary 一致。
总结：该方案以极小的内存开销（仅维持管道缓冲区，默认 4KB）实现了真正流式上传，是处理超大文件、管道输入（如 cat large.zip | go run upload.go）或实时数据源的理想实践。
