WebSocket需手动分片因协议无内置机制，受限于浏览器/代理限制（如Chrome 128MB但建议远低于此），须控制单帧大小（64KB–512KB）、标记边界、保障顺序与完整性，并实现客户端有序重组及可选校验与重传。
WebSocket 本身不内置分片机制，大数据传输需手动切片 + 有序重组。关键在于控制单次发送大小、标记消息边界、保障顺序和完整性。
为什么需要手动切片
浏览器和多数服务端 WebSocket 实现对单条消息有默认限制（如 Chrome 约 128MB，但实际建议远低于此）。超大消息易触发内存溢出、阻塞连接或被中间代理（如 Nginx）截断。TCP 层虽有分段，但 WebSocket 帧是应用层概念，必须保证每帧在协议允许范围内（≤ 2^63−1 字节，但实际受限于运行时内存与配置）。
切片发送的核心步骤
- 预估单帧合理大小：通常 64KB–512KB 较稳妥（兼顾网络吞吐与内存压力），避开 64KB 边界（某些旧环境对 65536 字节帧处理异常）
-
为每片添加元信息：至少包含
id（标识同一组数据）、index（当前序号）、total（总片数）、isLast（是否末片），推荐用 JSON 封装头 + 二进制载荷分离 -
按序逐帧发送：使用
ws.send()发送 ArrayBuffer 或 Blob，避免并发乱序（WebSocket 本身保序，但若多路并行发送不同消息则需自行协调） - 可选：添加简单校验：如每片的 CRC32 或 base64 编码后的长度比对，便于客户端快速发现损坏
客户端接收与重组逻辑
监听 message 事件，对每帧解析头部，按 id 归组缓存，检查 index 是否连续，并在收到 isLast: true 后拼接所有 Buffer：
Miller CSV TSV JSON 数据处理器
下载
Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。
示例片段（简化）：
立即学习“Java免费学习笔记（深入）”；
const fragments = new Map(); // id → { total, chunks: [] }
ws.addEventListener('message', e => {
const data = e.data;
const view = new DataView(data);
// 假设前 16 字节为 header：id(8), index(4), total(4)
const id = String.fromCharCode(...new Uint8Array(data.slice(0, 8)));
const index = view.getUint32(8);
const total = view.getUint32(12);
const payload = data.slice(16);
<p>if (!fragments.has(id)) {
fragments.set(id, { total, chunks: [] });
}
const group = fragments.get(id);
group.chunks[index] = payload;</p><p>if (index === total - 1) {
const fullBuffer = new Uint8Array(group.total * payload.byteLength);
let offset = 0;
for (let i = 0; i < group.chunks.length; i++) {
fullBuffer.set(new Uint8Array(group.chunks[i]), offset);
offset += group.chunks[i].byteLength;
}
onFullMessage(fullBuffer.buffer);
fragments.delete(id);
}
});增强可靠性的实用建议
- 超时与重传机制：记录每片发送时间，未在阈值内收到 ACK 则重发（需服务端配合返回确认）
-
流式处理替代全量缓存：对视频/音频等场景，边收边解码，避免内存堆积；可用
TransformStream链式处理 -
服务端同步响应 ACK：每片到达后立即返回
{ id, index, ok: true }，客户端据此推进或重试 - 避免阻塞主线程：切片、拼接、解码尽量放在 Worker 中进行
