用CompletableFuture实现异步批量压缩上传，核心是分文件独立压缩再并发上传，避免单ZIP内存压力与全量重试；通过自定义线程池、组合式API编排、异常防护、资源清理和流式处理保障性能与可靠性。
用 CompletableFuture 实现异步文件批量压缩上传，核心是把「压缩」和「上传」两个耗时操作拆成独立异步任务，并用组合式 API 编排依赖关系，避免阻塞主线程、提升吞吐量。
分阶段拆解：压缩 → 打包 → 上传
不要把所有文件塞进一个 ZIP 再上传（内存压力大、失败需重来）。推荐为每个文件单独压缩成 ZIP，再并发上传——失败只影响单个文件，且可并行处理：
- 对每个原始文件，启动一个
CompletableFuture<Path>异步压缩（生成临时 ZIP 路径） - 将所有压缩任务聚合为
CompletableFuture<List<Path>> - 对每个 ZIP 路径，再启动异步上传任务（返回
CompletableFuture<UploadResult>） - 最终聚合所有上传结果，统一处理成功/失败
关键代码结构（带异常防护）
使用 supplyAsync 启动 I/O 密集型任务，并指定自定义线程池（别用默认 ForkJoinPool，防止阻塞影响其他异步任务）：
Alibabacloud Sdk Client Initialization For Java
下载
在 Java 中初始化和管理阿里云 SDK客户端。包括单例模式、线程安全、endpoint 与 region 配置、VPC 终端节点、同步与异步等。
// 自定义线程池（建议：CPU 核数 × 2 ~ 4，或按文件数量动态调整）
ExecutorService ioPool = Executors.newFixedThreadPool(8);
List<CompletableFuture<UploadResult>> uploadFutures = files.stream()
.map(file -> CompletableFuture
.supplyAsync(() -> compressToZip(file), ioPool) // 压缩
.thenCompose(zipPath -> CompletableFuture
.supplyAsync(() -> uploadToOSS(zipPath), ioPool)) // 上传
.whenComplete((result, ex) -> {
if (ex != null) {
System.err.println("上传失败 " + file + ": " + ex.getMessage());
// 可选：清理临时 ZIP
try { Files.deleteIfExists(zipPath); } catch (IOException ignored) {}
}
})
)
.collect(Collectors.toList());
// 等待全部完成（非阻塞式可接 thenAccept）
CompletableFuture.allOf(uploadFutures.toArray(new CompletableFuture[0]))
.thenRun(() -> System.out.println("批量上传完成"));
压缩与上传的实用封装建议
让逻辑更清晰、可测、易复用：
立即学习“Java免费学习笔记（深入）”；
-
压缩方法：用
ZipOutputStream写入单文件 ZIP，输出到Files.createTempFile("tmp-", ".zip")，返回Path -
上传方法：接收
Path，用 Apache HttpClient / OkHttp / 对象存储 SDK（如 Aliyun OSS SDK）流式上传，不加载全文件到内存 -
失败重试：对上传任务套一层
retryOnFailure工具方法（用handle+ 递归thenCompose），避免重试压缩 -
进度反馈：在
whenComplete或thenAccept中更新共享的AtomicInteger进度计数器
资源清理与内存安全
异步场景下容易忽略临时文件残留和流未关闭：
- 压缩后 ZIP 文件必须在上传完成后（无论成功失败）及时删除，用
whenComplete统一清理 - ZIP 流、HTTP 请求流、文件通道等务必在 try-with-resources 中关闭，避免句柄泄漏
- 大文件慎用
Files.readAllBytes()；优先用InputStream直接传给上传客户端 - 若需限流（如避免打爆对象存储 QPS），可在提交任务前加 Semaphore 控制并发数
