本文介绍一种通过自定义 BytesArray 容器配合纯 Python 版 heapq，将等长字节串紧凑存储于单块 bytearray 中的方法，可将内存占用从 565KB 降至约 120KB，接近理论最小值。
本文介绍一种通过自定义 `bytesarray` 容器配合纯 python 版 `heapq`，将等长字节串紧凑存储于单块 `bytearray` 中的方法，可将内存占用从 565kb 降至约 120kb，接近理论最小值。
在使用 heapq 进行字节序列排序时，若直接存储 bytes 对象（如 b"abcdabcdabcd"），每个对象都会携带 Python 对象头、引用计数、长度字段等额外开销，导致大量内存浪费——尤其当所有字节串长度固定时，这种冗余尤为显著。理想情况下，10,000 个长度为 12 的字节串仅需 10,000 × 12 = 120,000 字节原始空间，但原生 list[bytes] 实现却消耗超 565KB。
解决方案是绕过 Python 对象层，将所有字节串线性拼接存入单一 bytearray，并通过索引计算实现 O(1) 随机访问。为此我们定义 BytesArray 类，它对外提供类列表接口（__getitem__, __setitem__, append, __len__），内部以 bytearray 扁平化存储：
class BytesArray:
def __init__(self, item_size):
self.item_size = item_size
self.value = bytearray()
def __len__(self):
return len(self.value) // self.item_size
def _slice(self, index):
if 0 <= index < len(self):
offset = index * self.item_size
return slice(offset, offset + self.item_size)
raise IndexError
def __getitem__(self, index):
return self.value[self._slice(index)]
def __setitem__(self, index, value):
self.value[self._slice(index)] = value
def append(self, value):
if len(value) != self.item_size:
raise ValueError(f"Expected {self.item_size} bytes, got {len(value)}")
self.value.extend(value)⚠️ 关键限制：heapq 的 C 加速模块 _heapq 仅支持真实 list 类型，无法识别自定义容器。因此必须强制禁用 C 模块，启用纯 Python 实现：
import sys sys.modules['_heapq'] = None # 在导入前清空缓存 from heapq import heappush, heappop
完整使用示例（10,000 个 b"abcdabcdabcd"，每项 12 字节）：
from pympler.asizeof import asizeof
L = BytesArray(12)
for _ in range(10_000):
heappush(L, b"abcdabcdabcd")
print(f"堆构建后: {asizeof(L)} bytes") # 约 132,200 字节
# 消除 bytearray 增量扩容的 12.5% 冗余
L.value = bytearray(L.value)
print(f"优化后: {asizeof(L)} bytes") # 约 120,544 字节（+544 字节为 BytesArray 实例开销）✅ 优势总结：
- 存储密度逼近理论极限（120,000 字节）；
- 保持
heapq接口兼容性，无需重写算法逻辑； - 支持随机访问与堆操作（
heappush/heappop）；
⚠️ 注意事项：
- 仅适用于所有字节串长度严格一致的场景；
-
BytesArray不支持切片、extend等高级列表操作，需按需扩展； - 纯 Python
heapq性能略低于 C 版本（小规模数据差异可忽略，大规模建议压测）； - 若需频繁修改单个元素，请确保
__setitem__赋值的bytes长度精确匹配item_size，否则抛出ValueError。
该方案本质是用可控的封装成本，换取极致的内存效率，特别适合内存敏感的批处理、嵌入式或大数据预处理场景。
