使用JNI Direct Buffer直接上传数据到S3

浅浩小哥_7213

发布时间：2025-09-21 21:44:01

628人浏览过

来源于php中文网

原创

使用jni direct buffer直接上传数据到s3

本文将探讨如何优化从JNI获取的Direct Buffer到S3的上传过程，避免不必要的内存拷贝，提高效率。

在传统的S3上传流程中，如果数据来源于JNI Direct Buffer，通常需要先将其复制到JVM堆内存中的byte[]数组，然后再进行上传。这种方式会产生额外的内存开销和复制操作，降低了性能。本文将介绍一种更高效的方法，即直接利用Direct Buffer的数据，绕过中间的复制步骤，直接上传到S3。

使用ByteSource和ByteBufferInputStream

jclouds库的BlobBuilder.payload方法接受一个ByteSource对象作为参数，ByteSource是一个抽象类，用于提供数据的来源。我们可以自定义一个ByteSource的实现，将ByteBuffer包装成输入流，从而直接从Direct Buffer读取数据。

以下是一个ByteBufferByteSource的示例代码：

import com.google.common.io.ByteSource;
import java.io.IOException;
import java.io.InputStream;
import java.nio.BufferUnderflowException;
import java.nio.ByteBuffer;

import static com.google.common.base.Preconditions.checkNotNull;

public class ByteBufferByteSource extends ByteSource {
    private final ByteBuffer buffer;

    public ByteBufferByteSource(ByteBuffer buffer) {
        this.buffer = checkNotNull(buffer);
    }

    @Override
    public InputStream openStream() {
        return new ByteBufferInputStream(buffer);
    }

    private static final class ByteBufferInputStream extends InputStream {
        private final ByteBuffer buffer;
        private boolean closed = false;

        ByteBufferInputStream(ByteBuffer buffer) {
            this.buffer = buffer;
        }

        @Override
        public synchronized int read() throws IOException {
            if (closed) {
                throw new IOException("Stream already closed");
            }
            try {
                return buffer.get() & 0xFF; // Important: Convert byte to unsigned int
            } catch (BufferUnderflowException bue) {
                return -1;
            }
        }

        @Override
        public void close() throws IOException {
            super.close();
            closed = true;
        }
    }
}

代码解释:

Google Drive Setup

在 Linux 上使用 rclone + gog OAuth 配置 Google Drive 挂载。适用于将 Google Drive 挂载为本地文件系统、设置开机自动挂载或进行其他相关配置。

下载

ByteBufferByteSource: 继承自ByteSource，接受一个ByteBuffer作为参数。
openStream(): 重写openStream方法，返回一个ByteBufferInputStream实例，用于读取ByteBuffer中的数据。
ByteBufferInputStream: 继承自InputStream，负责从ByteBuffer中读取数据。
read(): 重写read方法，从ByteBuffer中读取一个字节，并将其转换为无符号整数（& 0xFF）。这是因为Java的byte是有符号的，需要转换为无符号整数才能正确表示0-255范围内的值。
close(): 重写close方法，关闭输入流。

重要提示:

read() 方法中使用 buffer.get() & 0xFF 将 byte 转换为无符号 int。这对于确保字节值正确解释至关重要。
ByteBufferInputStream 只是一个基本实现。对于生产环境，应该考虑实现 read(byte[], int, int) 方法以提高效率，因为它允许一次读取多个字节。

使用自定义ByteSource上传到S3

有了自定义的ByteSource实现，就可以直接使用Direct Buffer的数据上传到S3了。以下是示例代码：

import com.google.common.io.ByteSource;
import org.jclouds.ContextBuilder;
import org.jclouds.blobstore.BlobStore;
import org.jclouds.blobstore.BlobStoreContext;
import org.jclouds.blobstore.domain.Blob;

import java.nio.ByteBuffer;

public class S3Uploader {

    public String uploadByteBuffer(String container, String objectKey, ByteBuffer bb) {
        // 初始化BlobStoreContext (请替换为您的S3配置)
        BlobStoreContext context = ContextBuilder.newBuilder("aws-s3")
                .credentials("YOUR_ACCESS_KEY", "YOUR_SECRET_KEY")
                .buildView(BlobStoreContext.class);
        BlobStore blobStore = context.getBlobStore();

        // 创建ByteBufferByteSource
        ByteSource payload = new ByteBufferByteSource(bb);

        // 构建Blob
        Blob blob = blobStore.blobBuilder(objectKey)
                .payload(payload)
                .contentLength(bb.capacity())
                .build();

        // 上传Blob
        blobStore.putBlob(container, blob);

        // 关闭连接
        context.close();

        return objectKey;
    }

    public static void main(String[] args) {
        // 示例用法
        ByteBuffer directBuffer = ByteBuffer.allocateDirect(50 * 1024 * 1024); // 50MB
        // 假设directBuffer中已经有数据
        // ...

        S3Uploader uploader = new S3Uploader();
        String objectKey = uploader.uploadByteBuffer("your-bucket-name", "your-object-key", directBuffer);
        System.out.println("Uploaded to S3: " + objectKey);
    }
}

代码解释: