PyTorch需借助OpenCV捕获视频流并预处理为符合模型输入要求的张量，推荐轻量模型如r3d_18或mvit_v2_s，配合帧缓存、设备同步、预热及后处理策略实现稳定实时动作识别。
PyTorch本身不支持直接读取视频流，得靠OpenCV搭桥
PyTorch没有内置的视频捕获模块，torchvision.io.read_video只能读本地文件，无法处理cv2.VideoCapture(0)这种实时流。必须用OpenCV逐帧抓取，再转成PyTorch张量——这是绕不开的第一步。
常见错误是直接把frame（numpy.ndarray，BGR格式，HWC）喂给模型：维度错、通道顺序错、没归一化，模型立刻报RuntimeError: expected scalar type Float but found Byte。
- 用
cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)转通道顺序 - 用
torch.from_numpy()转张量后，.permute(2, 0, 1)把HWC→CHW - 务必
.float() / 255.0归一化，否则输入值域是[0,255]，远超模型训练时的[0,1] - 加
.unsqueeze(0)补batch维，变成(1, 3, H, W)才符合模型输入要求
选轻量模型，别硬上SlowFast或I3D
实时动作识别卡在推理延迟，不是准确率。在CPU或中端GPU（如RTX 3060）上，SlowFast、I3D这类3D CNN单帧推理都要200ms+，根本撑不住30fps视频流。
推荐用torchvision.models.video.r3d_18或mvit_v2_s（需PyTorch 2.1+），它们支持单帧或多帧clip输入，且可通过pretrained=True加载ImageNet-kinetics权重。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
-
r3d_18默认输入是(N, 3, 16, 112, 112)——意味着它要16帧连续图像，不能单帧推 - 若想单帧识别（如静态姿态判断），改用
torchvision.models.resnet18（图像模型）+ 光流特征拼接，或直接上efficientnet_v2_s - 注意
mvit_v2_s对输入尺寸敏感，必须resize到224x224，且要求clip长度为16帧
帧缓存与滑动窗口是实时性的关键
模型要16帧，但摄像头每秒来30帧，不能等满16帧再推——那样延迟高达0.5秒。得维护一个长度为16的帧队列，每来1帧就pop最老帧、append新帧，然后送入模型。
容易忽略的是设备同步：model(frame_clip).argmax()返回的是GPU tensor，如果后面直接.item()会触发隐式同步，拖慢主线程。必须显式调用.cpu().item()。
- 用
collections.deque(maxlen=16)做高效缓存，比list快 - 预热模型：先跑一次
model(dummy_input)，避免首次推理时CUDA上下文初始化拖慢首帧 - 加
cv2.waitKey(1) & 0xFF == ord('q')退出逻辑，否则窗口卡死 - 别在循环里反复调用
transforms.Compose——提前定义好，复用transform对象
类别映射和置信度阈值必须手动配
PyTorch官方video模型加载的Kinetics-400标签是400类，但你的场景可能只有“挥手”“站立”“跌倒”3类。不能直接用torchvision.models.video自带的kinetics400标签文件。
常见做法是微调（fine-tune）最后一层，或冻结主干、只训练分类头。这时输出logits的维度变了，argmax结果对应的是你自定义的类别索引，不是Kinetics原始ID。
- 保存训练时用的
class_to_idx字典，推理时查表映射回中文名 - 加softmax后取
probs.max()，低于0.7就标“未知”，避免抖动误判 - 连续5帧预测同一动作才触发事件（比如“跌倒报警”），比单帧判断更稳
- 别忘了
model.eval()和torch.no_grad()，否则BN层和梯度计算吃资源
