CPU张量调用share_memory_()并配合spawn启动方式可安全共享；CUDA张量无法跨进程共享，必须使用torch.distributed+NCCL替代。
CPU张量用 share_memory_() 是安全的，但必须配合 spawn 启动方式
PyTorch 的 share_memory_() 只对 CPU 张量生效，调用后张量底层 Storage 会切换到共享内存区（如 /dev/shm），子进程可直接读写同一块物理内存。但前提是主进程必须用 mp.set_start_method('spawn')，不能用 'fork' —— 后者会复制整个地址空间，导致每个子进程拿到的是独立副本，看似共享实则毫无意义。
常见错误是没设启动方式，或者在 Windows/macOS 上误用 'fork'（不支持）。另外，share_memory_() 返回的是原张量对象，不是新张量，所以要确保在 fork/spawn 前调用，否则子进程中调用无效。
- 必须在创建进程前调用
tensor.share_memory_() - 必须显式设置
mp.set_start_method('spawn')（Linux/macOS/Windows 均兼容） - 共享后仍需手动同步：多个进程并发写同一位置无原子性保障，需加锁或按索引分区访问
CUDA张量无法跨进程共享，别碰 share_memory_() 或 pin_memory()
对 tensor.cuda() 调用 share_memory_() 不报错，但静默失败 —— 底层 Storage 仍是独占的 GPU 显存，子进程根本访问不到。同理，pin_memory() 只影响 Host 内存页锁定，和 GPU 显存无关，也不能让 CUDA 张量变“可共享”。
本质限制在于：CUDA 显存地址空间是进程私有的，GPU 驱动不提供跨进程共享显存的机制（除非用 NVLINK + MPS 或 CUDA IPC，但 PyTorch 未封装）。所以所有试图“零拷贝共享 GPU 张量”的方案，最终都会退化为 CPU 中转（如通过 Queue 或 Manager 传递时触发 .cpu()）。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
-
tensor.cuda().share_memory_()无效果，tensor.is_shared()仍返回False -
torch.multiprocessing.Queue.put(tensor.cuda())必然触发隐式.cpu()和 pickle，显存数据先拷到 CPU 再序列化 - 若必须多进程用 GPU 数据，唯一低开销路径是：每个进程自己加载/生成张量，或用
torch.distributed+ NCCL
替代方案：用 torch.distributed 替代 torch.multiprocessing 处理 GPU 张量
当目标是多进程协同计算 GPU 张量（比如分布式训练、多卡推理），torch.multiprocessing 是错的方向。正确路径是走 torch.distributed，它基于 NCCL（多卡）或 Gloo（CPU/单卡）后端，直接在 GPU 显存间通信，不经过主机内存中转。
例如 dist.broadcast() 或 dist.all_reduce()，输入输出都是 CUDA 张量，NCCL 会在驱动层调度 GPU-to-GPU DMA 传输。这比任何用户态共享机制都更底层、更高效。
- 避免自己实现跨进程 GPU 共享逻辑，PyTorch 官方不支持且无计划支持
-
torch.distributed.init_process_group(backend='nccl')是多卡训练事实标准，不是“高级选项”而是必需路径 - 单机多进程 + 单卡场景下，若坚持用 multiprocessing，只能接受每个进程独占一份 GPU 张量副本
容易被忽略的坑：from_numpy() 和 as_tensor() 在多进程里可能意外破坏共享语义
如果你在主进程中用 np.array 构建数据，再用 torch.as_tensor(arr) 转成张量并 share_memory_()，看起来没问题 —— 但一旦某个子进程调用 tensor.numpy() 或 tensor.data_ptr()，就可能触发 NumPy 的 copy-on-write 机制，导致底层内存被悄悄复制，共享失效。
更隐蔽的是，某些数据增强操作（如 torchvision.transforms 中的归一化）内部会调用 .contiguous() 或 .clone()，直接切断与原始 NumPy 数组的内存连接。
- 跨进程共享前，确认张量没有被任何中间库“偷偷 clone”过
- 避免在共享张量上直接调用
.numpy()、.data_ptr()或依赖连续内存的 API - 最稳妥做法：共享原始 NumPy 数组（
arr = np.memmap或shared_memory.SharedMemory），各进程自行as_tensor()，而非共享 Tensor 对象本身
torch.distributed 的尝试，最终都会撞上驱动层隔离墙。真正要省显存，得从模型并行、梯度检查点、FP16/INT4 量化这些方向入手，而不是在进程共享上死磕。 
