本文介绍一种内存友好的方式：使用 Go 将本地文件实时压缩为 gzip 格式，并通过管道（pipe）将压缩流直接上传至 S3，全程不落地、不缓存临时文件。
本文介绍一种内存友好的方式：使用 go 将本地文件实时压缩为 gzip 格式，并通过管道（pipe）直接上传至 s3，全程不落地、不缓存临时文件。
在早期实现中，开发者尝试使用 io.Pipe() 搭配两个 goroutine 分别处理压缩与上传，但该方案存在关键缺陷：s3gof3r.PutWriter 并非一个普通的 io.Writer，它内部依赖 HTTP 请求的完整生命周期管理，无法安全地被并发写入或延迟关闭；而 io.Pipe 的 reader/writer 对在 goroutine 间传递时，若任一端提前关闭或异常退出，极易导致死锁或静默失败（如您观察到的“无报错、无文件”现象）。
正确的做法是避免手动管道调度，转而利用 Go 的组合式 io.Writer 接口特性——将 gzip.Writer 直接封装在 s3gof3r.PutWriter 之上。这样所有数据流严格串行、可控，且资源生命周期清晰可管理。
以下是精简、健壮、生产就绪的实现：
package main
import (
"compress/gzip"
"io"
"log"
"os"
"github.com/rlmcpherson/s3gof3r"
)
func main() {
// 从环境变量加载 AWS 凭据（AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY）
keys, err := s3gof3r.EnvKeys()
if err != nil {
log.Fatal("failed to load AWS credentials:", err)
}
// 初始化 S3 客户端并指定目标 bucket
s3 := s3gof3r.New("", keys)
bucket := s3.Bucket("somebucket")
// 创建 S3 上传 writer（目标对象 key）
s3Writer, err := bucket.PutWriter("somezipfile.gz", nil, nil)
if err != nil {
log.Fatal("failed to create S3 writer:", err)
}
defer s3Writer.Close() // ⚠️ 必须显式关闭！否则上传不提交
// 将 gzip.Writer 叠加在 s3Writer 上，形成「压缩 → 上传」链式 writer
gzipWriter := gzip.NewWriter(s3Writer)
defer gzipWriter.Close() // ⚠️ 必须关闭，确保 gzip footer 写入 & flush
// 打开待压缩的源文件
file, err := os.Open("somefile")
if err != nil {
log.Fatal("failed to open source file:", err)
}
defer file.Close()
// 一次性流式复制：file → gzipWriter → s3Writer → S3
_, err = io.Copy(gzipWriter, file)
if err != nil {
log.Fatal("failed to compress and upload:", err)
}
}✅ 关键要点说明：
-
defer s3Writer.Close()和defer gzipWriter.Close()缺一不可：gzip.Writer.Close()会写入压缩尾部（如 CRC、ISIZE），并调用底层s3Writer.Close()提交 HTTP 请求；若遗漏，S3 将收不到完整对象。 -
无需
sync.WaitGroup或io.Pipe：io.Copy是阻塞同步操作，天然保证顺序执行与错误传播。 -
零中间存储：整个过程仅占用常量内存（
gzip.Writer默认缓冲区约 64KB），适合大文件或资源受限环境。 -
注意权限与网络：确保运行环境具备对应 S3 bucket 的
s3:PutObject权限，且能访问s3.amazonaws.com（或对应区域 endpoint）。
该模式可轻松扩展支持 tar+gzip 打包目录（例如结合 archive/tar）、添加进度回调、或集成 context.Context 实现超时与取消——但核心原则不变：以 io.Writer 链代替多 goroutine 管道，让流控更简单、更可靠。
