java 原生序列化不支持分片传输,必须手动将大对象拆分为字节数组片段并逐个发送。具体做法是调用 objectoutputstream 生成完整字节流后,使用 system.arraycopy 按固定大小截取子数组,通过循环或线程池并发发送这些子块,接收端收集所有子块后拼接成完整字节流,再使用 objectinputstream 反序列化恢复对象。

如何拆分和发送序列化字节流
拆分过程是将序列化后的字节数组按指定阈值切分。发送时通常结合网络协议(如 TCP)或消息队列,为每个分片添加序号以便排序。以下代码展示了如何将一个包含大量数据的 Java 对象序列化为字节流,并按 1024 字节大小进行分片发送的逻辑模拟。

import java.io.*;
import java.util.ArrayList;
import java.util.List;
public class SerializationSplitter {
public static void main(String[] args) throws Exception {
// 1. 准备一个大对象
LargeDataObject obj = new LargeDataObject();
obj.setData(new byte[10000]); // 模拟 10KB 数据
// 2. 序列化对象为字节数组
ByteArrayOutputStream baos = new ByteArrayOutputStream();
ObjectOutputStream oos = new ObjectOutputStream(baos);
oos.writeObject(obj);
oos.close();
byte[] fullBytes = baos.toByteArray();
// 3. 定义分片大小
int chunkSize = 1024;
List<byte[]> chunks = new ArrayList<>();
// 4. 拆分字节数组
for (int i = 0; i < fullBytes.length; i += chunkSize) {
int end = Math.min(i + chunkSize, fullBytes.length);
byte[] chunk = new byte[end - i];
System.arraycopy(fullBytes, i, chunk, 0, end - i);
chunks.add(chunk);
}
// 5. 模拟发送分片(打印大小验证)
System.out.println("Total chunks: " + chunks.size());
for (int i = 0; i < chunks.size(); i++) {
System.out.println("Sending chunk " + i + ", size: " + chunks.get(i).length);
}
}
}
class LargeDataObject implements Serializable {
private byte[] data;
public void setData(byte[] data) { this.data = data; }
}运行上述代码,控制台会输出总共有多少个分片以及每个分片的字节数。对于 10KB 的数据,若分片大小为 1024 字节,将产生约 10 个分片。最后一个分片的大小可能小于 1024 字节。这种拆分方式确保了每个分片都是完整的字节序列,便于在网络中独立传输。
立即学习“Java免费学习笔记(深入)”;
FilePond 是一个 JavaScript 文件上传库,支持通过拖拽、粘贴和 API 方式处理文件、目录、URL 和 Data URI。它包含内置的图像优化功能、异步分块上传功能,并提供了适用于 React、Vue、Angular 和 Svelte 的适配器。
如何接收并重组序列化字节流
接收端需要维护一个缓冲区或使用列表来存储接收到的分片。由于网络传输可能导致分片乱序,接收端必须根据分片序号对数据进行排序,然后按顺序拼接。拼接完成后,即可使用 ObjectInputStream 进行反序列化。以下代码展示了如何从分片列表中重组字节流并反序列化对象。

import java.io.*;
import java.util.*;
public class SerializationReassembler {
public static void main(String[] args) throws Exception {
// 模拟接收到的分片列表(实际场景中需处理乱序和丢包)
List<Chunk> receivedChunks = new ArrayList<>();
// 假设这里已经通过某种机制接收到了所有分片
// 为了演示,我们直接复用之前的逻辑生成分片
LargeDataObject originalObj = new LargeDataObject();
originalObj.setData(new byte[10000]);
ByteArrayOutputStream baos = new ByteArrayOutputStream();
ObjectOutputStream oos = new ObjectOutputStream(baos);
oos.writeObject(originalObj);
oos.close();
byte[] fullBytes = baos.toByteArray();
int chunkSize = 1024;
// 模拟接收端收集分片
Map<Integer, byte[]> chunkMap = new HashMap<>();
for (int i = 0; i < fullBytes.length; i += chunkSize) {
int end = Math.min(i + chunkSize, fullBytes.length);
byte[] chunk = Arrays.copyOfRange(fullBytes, i, end);
chunkMap.put(i / chunkSize, chunk); // 使用索引作为键
}
// 按索引排序并拼接
List<Byte> reassembledBytesList = new ArrayList<>();
for (int i = 0; i < chunkMap.size(); i++) {
if (!chunkMap.containsKey(i)) {
throw new RuntimeException("Missing chunk " + i);
}
for (byte b : chunkMap.get(i)) {
reassembledBytesList.add(b);
}
}
// 转换为字节数组
byte[] reassembledBytes = new byte[reassembledBytesList.size()];
for (int i = 0; i < reassembledBytesList.size(); i++) {
reassembledBytes[i] = reassembledBytesList.get(i);
}
// 反序列化
ByteArrayInputStream bais = new ByteArrayInputStream(reassembledBytes);
ObjectInputStream ois = new ObjectInputStream(bais);
LargeDataObject restoredObj = (LargeDataObject) ois.readObject();
ois.close();
// 验证
System.out.println("Restored object data length: " + restoredObj.getData().length);
}
}
class Chunk {
int index;
byte[] data;
}
class LargeDataObject implements Serializable {
private byte[] data;
public void setData(byte[] data) { this.data = data; }
public byte[] getData() { return data; }
}该程序首先将原始字节流重新组合成一个连续的字节数组,然后通过 ByteArrayInputStream 和 ObjectInputStream 成功还原了原始对象。关键点在于确保所有分片都已到达且顺序正确。在实际网络环境中,通常需要实现更复杂的协议来处理分片丢失、重复和乱序问题,例如使用序列号、确认机制和重传策略。
如果分片在传输过程中丢失怎么办
如果某个分片在传输过程中丢失,接收端将无法重组出完整的字节流,导致反序列化失败。因为 Java 序列化格式是紧密耦合的,缺少任何字节都会破坏整个流的完整性。因此,必须依赖底层传输协议(如 TCP)或应用层的重传机制来保证分片的可靠交付。TCP 协议本身提供了可靠传输,但如果使用的是 UDP 等不可靠协议,则需要在应用层实现类似 ARQ(自动重传请求)的机制。此外,还可以引入校验和(Checksum)或哈希值来检测分片是否损坏。如果检测到损坏或丢失,接收端可以请求发送端重传特定的分片。另一种策略是使用支持断点续传或分片重试的高级序列化库或框架,但 Java 原生 API 不提供此类功能,开发者需自行实现。

















