本文介绍如何使用 aws sdk for java v2 直接将内存中的数据（如数据库查询结果）上传至 s3 存储桶，避免创建本地临时文件，提升大规模文件处理的性能与可靠性。
本文介绍如何使用 aws sdk for java v2 直接将内存中的数据（如数据库查询结果）上传至 s3 存储桶，避免创建本地临时文件，提升大规模文件处理的性能与可靠性。
在实际 Spring Boot 应用中，当需要将大量动态生成的数据（例如从数据库查出的 List<Map<String, Object>>）持久化到 S3 时，若沿用传统「先写本地文件 → 再上传」的模式，不仅会占用大量磁盘 I/O 和临时存储空间，还可能因海量小文件引发系统瓶颈甚至磁盘满载风险。幸运的是，AWS SDK for Java V2 原生支持基于内存字节数组或输入流的直传方式，完全绕过本地文件系统。
✅ 推荐方案：使用 RequestBody.fromBytes() 直传字节数组
首先，将业务数据序列化为字节（如 JSON 字符串），再通过 S3Client.putObject() 的 RequestBody.fromBytes() 方法直接上传：
import software.amazon.awssdk.core.RequestBody;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Exception;
import com.fasterxml.jackson.databind.ObjectMapper;
public class S3Uploader {
private final S3Client s3Client;
private final ObjectMapper objectMapper = new ObjectMapper();
public S3Uploader(S3Client s3Client) {
this.s3Client = s3Client;
}
/**
* 将数据库查询结果（List<Map<String, Object>>）序列化为 JSON 并上传至 S3
* @param jsonData 数据列表
* @param bucketName S3 存储桶名
* @param folderName 目标路径（可选，如 "exports/2024/10/"）
* @param fileName 文件名（如 "report.json"）
*/
public void uploadJsonData(List<Map<String, Object>> jsonData,
String bucketName,
String folderName,
String fileName) {
String objectKey = String.format("%s/%s", folderName.trim().replaceAll("/+$", ""), fileName);
try {
// 1. 序列化为 UTF-8 字节数组（不生成本地文件）
byte[] jsonBytes = objectMapper.writeValueAsBytes(jsonData);
// 2. 构建上传请求并直传内存数据
PutObjectRequest putRequest = PutObjectRequest.builder()
.bucket(bucketName)
.key(objectKey)
.contentType("application/json; charset=utf-8")
.build();
s3Client.putObject(putRequest, RequestBody.fromBytes(jsonBytes));
System.out.println("✅ Uploaded to s3://" + bucketName + "/" + objectKey);
} catch (Exception e) {
throw new RuntimeException("Failed to upload data to S3: " + e.getMessage(), e);
}
}
}⚠️ 注意事项与最佳实践
- 内存安全：该方式将整个数据加载进 JVM 堆内存。若单次上传数据 > 100 MB，建议改用 RequestBody.fromInputStream() 配合 ByteArrayInputStream 或分块流式处理（如 BufferedInputStream + TransferManager），避免 OOM。
- 编码与 Content-Type：显式设置 .contentType(...) 可确保 S3 正确识别文件类型，便于后续 Web 访问或下游系统解析。
- 异常处理：S3Exception 是 SDK 特定异常，应捕获并转换为业务可识别的错误；同时注意 JsonProcessingException 等序列化异常。
- 客户端复用：S3Client 是线程安全且重量级对象，务必作为单例注入（如 Spring Bean），禁止每次调用新建。
- 权限与配置：确保 IAM 角色/凭证具备 s3:PutObject 权限，并正确配置 Region（Region 必须与 Bucket 所在区域一致）。
? 进阶：超大结果集流式上传（可选）
对于千万级记录导出场景，可结合 Jackson 的 JsonGenerator 与 RequestBody.fromInputStream() 实现真正零内存缓冲的流式上传（需自定义 InputStream 包装器），但开发复杂度较高；多数情况下，合理控制批次大小（如每 5000 条一个文件）+ fromBytes() 已足够高效稳定。
综上，摒弃本地文件中转，拥抱内存直传，是构建高吞吐、低资源依赖 S3 数据管道的关键一步。
立即学习“Java免费学习笔记（深入）”；
