本文介绍如何使用 aws sdk for java v2 将数据库查询结果等内存数据直接上传至 s3 存储桶，避免创建本地临时文件，提升大规模文件处理的性能与可靠性。
本文介绍如何使用 aws sdk for java v2 将数据库查询结果等内存数据直接上传至 s3 存储桶，避免创建本地临时文件，提升大规模文件处理的性能与可靠性。
在实际业务场景中（如 Spring Boot 应用），我们常需将从数据库动态获取的数据（例如 List<Map<String, Object>>）以结构化格式（如 JSON、CSV）写入 S3 —— 但若按传统方式先序列化为本地文件再上传，不仅浪费磁盘 I/O 和存储空间，更会在高并发、海量小文件场景下引发磁盘瓶颈甚至 OOM 风险。
推荐方案：跳过文件系统，直接使用内存字节数组或 InputStream 流式上传。
AWS SDK for Java V2 提供了轻量、高效且线程安全的 RequestBody 抽象，支持从 byte[]、InputStream、ByteBuffer 等多种源直接构建请求体，完全规避本地文件落盘。
✅ 正确实现（基于 SDK v2）
以下是一个生产就绪的上传方法示例，支持将任意数据序列化后直接上传：
Java Maven Common
下载
Java Maven 项目审查工作流的通用输入处理。当 Java Maven 项目以 ZIP压缩包或 GitLab 仓库 URL 形式提供且需要...时使用。
import software.amazon.awssdk.core.RequestBody;
import software.amazon.awssdk.services.s3.S3Client;
import software.amazon.awssdk.services.s3.model.PutObjectRequest;
import software.amazon.awssdk.services.s3.model.S3Exception;
import com.fasterxml.jackson.databind.ObjectMapper;
private final S3Client s3Client;
private final ObjectMapper objectMapper = new ObjectMapper(); // 用于 JSON 序列化
public void uploadJsonDataToS3(List<Map<String, Object>> jsonData,
String bucketName,
String folderName,
String fileName) throws Exception {
// 1. 内存中序列化为 JSON 字节数组（不写磁盘）
byte[] jsonBytes = objectMapper.writeValueAsBytes(jsonData);
// 2. 构建 S3 对象路径（如：reports/2024-06/data.json）
String objectKey = String.format("%s/%s", folderName.trim().replaceAll("/+$", ""), fileName);
// 3. 直接上传字节数组
try {
s3Client.putObject(
PutObjectRequest.builder()
.bucket(bucketName)
.key(objectKey)
.contentType("application/json")
.build(),
RequestBody.fromBytes(jsonBytes)
);
System.out.println("✅ Uploaded to s3://" + bucketName + "/" + objectKey);
} catch (S3Exception e) {
throw new RuntimeException("Failed to upload to S3: " + e.getMessage(), e);
}
}⚠️ 关键注意事项
- 内存控制：writeValueAsBytes() 将整个数据加载进堆内存。若单次数据超 10–50 MB，建议改用 RequestBody.fromInputStream() + JsonGenerator 流式序列化（配合 Jackson 的 ObjectWriter.writeValues()），避免 GC 压力。
- 编码与 ContentType：显式设置 .contentType(...) 可确保 S3 控制台和下游服务（如 Athena、Lambda）正确识别内容类型；中文等字符需确认 ObjectMapper 默认 UTF-8 编码（默认已启用）。
- 异常处理：S3Exception 是 SDK v2 的核心异常类型，应捕获并做重试/告警；建议结合 RetryPolicy（如 RetryMode.STANDARD）增强健壮性。
-
依赖声明（Maven）：
<dependency> <groupId>software.amazon.awssdk</groupId> <artifactId>s3</artifactId> <version>2.21.30</version> <!-- 请使用最新稳定版 --> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> </dependency>
✅ 进阶建议（超大数据场景）
- 使用 RequestBody.fromInputStream(() -> new ByteArrayInputStream(...)) 或自定义 InputStream 实现分块生成；
- 结合 TransferManager（v2 中为 S3TransferManager）进行大文件分段上传（适用于 >5GB 场景）；
- 在 Spring Boot 中，可将 S3Client 声明为 @Bean 并启用连接池与超时配置，提升复用率与稳定性。
通过以上方式，你不仅能彻底消除本地磁盘依赖，还能显著提升吞吐量、降低运维复杂度——真正实现“数据即上传”的云原生实践。
