视频动作识别核心在于建模时空信息，主流结构包括双流网络（RGB+光流）、3D CNN（如I3D、R(2+1)D）和Transformer类（TimeSformer、Video Swin），各具时空建模特点与适用场景。
视频动作识别的核心网络结构
视频动作识别不是简单把图像模型套过来就能用的。关键在于如何建模时间维度——人做动作是连续变化的过程，单帧图片看不出“挥手”和“抬手”的区别，但几帧连起来就很明显。所以主流结构都围绕“怎么有效融合空间（画面）+时间（帧序）信息”展开。
双流网络（Two-Stream CNN）：最经典、易理解的起点
它用两个并行分支分别处理静态空间信息和动态运动信息：
- 空间流（Spatial Stream）：输入单帧RGB图像，用ResNet-50或VGG等图像CNN提取外观特征（比如人的姿态、服装、场景）
- 时序流（Temporal Stream）：输入光流（Optical Flow）帧序列——本质是相邻帧之间的像素位移场，直接编码运动方向和速度（比如手臂向右移动、腿在摆动）
- 两路特征最后在顶层融合（常用平均、加权相加或简单拼接后接全连接层），再分类
优点是结构清晰、可解释性强，适合入门；缺点是光流计算耗时（训练前需预生成），且无法建模长时序依赖。
3D CNN（如I3D、R(2+1)D）：端到端学习时空特征
把传统2D卷积扩展为3D卷积核（如3×3×3），直接在视频片段（比如16×224×224）上滑动，同时捕捉宽、高、时间三个方向的变化。
立即学习“Python免费学习笔记（深入）”；
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
- I3D（Inflated 3D ConvNet）：把ImageNet预训练的2D ResNet权重“膨胀”成3D（例如2D卷积核复制到时间维），再微调。兼容性好，效果稳，是工业界常用基线
- R(2+1)D：把3D卷积拆成“2D空间卷积 + 1D时间卷积”，更高效、参数更少，对长视频更友好
这类模型无需光流，端到端训练，但显存吃紧——16帧输入常需多卡并行，建议从8帧起步调试。
Transformer类结构（TimeSformer、Video Swin）：用注意力建模长程时序
当动作跨度大（比如“打开冰箱→拿水→关上门”），CNN局部感受野容易漏掉关键关联。Transformer靠自注意力机制，让任意两帧/任意两区域直接建联：
- TimeSformer：把视频切块（类似ViT），分“空间注意力”和“时间注意力”两路独立计算，再融合，兼顾效率与建模能力
- Video Swin Transformer：引入滑动窗口机制，降低计算复杂度，更适合高分辨率、长视频
这类模型数据需求大，小数据集上容易过拟合，建议先用I3D训好baseline，再尝试迁移或蒸馏。
实用建议：别一上来就堆SOTA
新手训练动作识别模型，重点不在结构多炫，而在数据、标注和流程扎实：
- 用UCF101或HMDB51这种小而精的数据集起步，跑通I3D+PyTorch Lightning全流程
- 视频预处理很关键：统一采样（如均匀取16帧）、短边缩放+中心裁剪、归一化（ImageNet均值方差）
- 标签不是每帧一个，而是整个视频片段一个动作类别，确保数据加载器按clip（而非单帧）组织样本
- 验证时用top-1准确率，但也要看混淆矩阵——如果“跑步”和“走路”总分错，说明运动特征没学好，回头检查光流质量或时间卷积深度
基本上就这些。结构重要，但数据质量、训练策略（学习率预热、标签平滑）、以及你对动作语义的理解，往往决定最终效果的上限。
