SimCLR在PyTorch中需手动实现，无现成torchvision.models.simclr；核心难点在于双视图独立增强、NT-Xent损失手写（含温度系数τ与对角mask）、投影头BatchNorm关闭track_running_stats，以及Dataset必须返回成对视图而非单样本。
SimCLR在PyTorch中需要自己搭，没有现成的torchvision.models.simclr
PyTorch官方和torchvision至今（2024）都不提供SimCLR预训练模型或封装类。你得从头实现：包括数据增强流水线、投影头、NT-Xent损失、以及双视图采样逻辑。这不是调用一个model = SimCLR()就能跑的事——核心难点不在模型结构本身，而在如何正确构造对比样本对和损失计算。
必须重写Dataset以支持双视图返回（两个增强版本）
标准Dataset.__getitem__只返回一个样本，但SimCLR要求同一张图经两次随机增强后生成两个不同视图（view1, view2），作为正样本对。常见错误是直接用torchvision.transforms.Compose套一次增强，结果两个视图完全一样，loss迅速崩为0。
- 增强必须独立实例化两次，比如：
transform1 = TwoCropsTransform(transform)，其中TwoCropsTransform内部对同一输入调用两次独立的RandomResizedCrop等 - 返回值必须是
(torch.stack([view1, view2]), _)（标签可为占位符），否则DataLoader无法对齐batch维度 - 别在
__init__里固定transforms的随机种子，否则所有worker生成相同增强
NT-Xent loss要手写，注意温度系数tau和对角mask
SimCLR不用交叉熵，而是基于余弦相似度的归一化温度缩放交叉熵（NT-Xent）。PyTorch没内置，且容易漏掉关键细节：
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 输入是
[2*bs, proj_dim]的投影向量，需先计算全对相似度矩阵sim_matrix = F.cosine_similarity(z_i[:, None], z_j[None, :], dim=2)，再除以tau - 正样本对位置在
(i, i+bs)和(i+bs, i)，必须用torch.eye(2*bs, dtype=torch.bool)取反得到负样本mask，否则梯度错乱 -
tau默认是0.1，设太大（如1.0）会导致loss过平滑，收敛慢；设太小（如0.01）易数值溢出
def nt_xent_loss(z, tau=0.1):
z = F.normalize(z, dim=1)
sim_matrix = torch.mm(z, z.t()) / tau
logits = sim_matrix - torch.eye(z.size(0)) * 1e12
labels = torch.cat([torch.arange(z.size(0)//2), torch.arange(z.size(0)//2)])
return F.cross_entropy(logits, labels)
训练时batch_size不能太小，且必须关掉BatchNorm的track_running_stats
NT-Xent依赖batch内所有样本的相似度分布，batch_size 时负样本不足，loss不稳定。同时，SimCLR的encoder（如ResNet）后面接的是投影头，而投影头里的<code>BatchNorm层如果启用track_running_stats=True，会在训练中累积整个batch的统计量——这会污染正样本对的独立性，导致两个视图被“拉近”不是靠语义，而是靠BN统计量耦合。
立即学习“Python免费学习笔记（深入）”；
- 务必在构建投影头时显式设置：
nn.BatchNorm1d(dim, track_running_stats=False) - 使用
torch.nn.SyncBatchNorm多卡训练时同样要关掉track_running_stats - 若用
torchvision.models.resnet50(pretrained=False)作backbone，其自带BN默认开启tracking，需遍历子模块关闭
SimCLR真正难的不是代码行数，是每一步增强、采样、损失、归一化之间的隐式耦合——少关一个track_running_stats，或增强没做两次独立采样，模型就学不到有意义的不变性。
