光流法输出像素位移而非真实速度,需结合距离、实际尺寸和精确时间戳换算;LK适合稀疏关键点,Farneback适合稠密场但参数敏感;标定与几何修正不可省略。

光流法本身不直接输出速度,必须结合物理尺度和时间戳
OpenCV 的 cv::calcOpticalFlowPyrLK 或 cv::calcOpticalFlowFarneback 只返回像素位移(dx, dy),单位是像素/帧,不是 m/s。要换算成真实速度,你得知道:① 相机到目标的大概距离;② 目标在图像中的实际尺寸(比如车宽 1.8m 对应多少像素);③ 两帧之间的真实时间间隔(不能只用帧率倒数,尤其当帧被丢弃或采集不均匀时)。漏掉任一环节,结果就是“看着有数字,其实没物理意义”。
常见错误现象:cv::calcOpticalFlowPyrLK 返回的 status 数组里大量为 0,但你还拿所有点去算平均位移;或者直接用 delta_t = 1.0 / fps 去除,结果在光照突变、快速旋转场景下速度值跳变几十倍。
- 务必检查
status输出,只对status[i] == 1的点计算位移 - 用硬件时间戳(如
std::chrono::steady_clock::now())记录每帧采集时刻,而非依赖视频容器的 PTS - 若目标距离变化大(如远近车辆),需配合深度图或单目测距模型做归一化,否则同一像素位移对应的速度差一个数量级
calcOpticalFlowPyrLK 更适合稀疏关键点,别强行喂整图
很多人一上来就对整张 800x600 图调用 cv::calcOpticalFlowPyrLK,传入上万特征点——这既慢又不准。LK 光流本质是局部迭代优化,点太多会导致内存暴涨、收敛失败点增多,且无法处理大位移(>15 像素)。
正确做法是先用 cv::goodFeaturesToTrack 提取 200–500 个高质量角点(设 minDistance=10, qualityLevel=0.01),再喂给 LK。如果目标运动剧烈,可加 winSize=(21,21) 和 maxLevel=3 提升鲁棒性;但 winSize 超过 (31,31) 后性能下降明显,且对小目标容易“糊掉”。
立即学习“C++免费学习笔记(深入)”;
示例片段:
std::vector<cv::Point2f> prev_pts, curr_pts; cv::goodFeaturesToTrack(prev_gray, prev_pts, 300, 0.01, 10); cv::calcOpticalFlowPyrLK(prev_gray, curr_gray, prev_pts, curr_pts, status, err, cv::Size(21,21), 3);
calcOpticalFlowFarneback 适合稠密场,但参数敏感、易过平滑
cv::calcOpticalFlowFarneback 输出的是每个像素的位移向量,但默认参数(尤其是 pyr_scale=0.5, levels=3)在高速小物体(如无人机桨叶)上会严重模糊运动边界,把 20px 位移压缩成 12px,导致速度低估 40%。
关键调整点:
- 对高速场景,把
levels提高到5或6(增加金字塔层数,保留更多高频运动信息) -
winSize别设太大——13是平衡点,>17会过度平均邻域,丢失局部速度差异 - 如果只关心某块 ROI(如车道线区域),先用
cv::Mat::operator()截取子图再计算,避免全图浪费算力
注意:cv::calcOpticalFlowFarneback 是 CPU 单线程实现,800x600 输入在 i5-8250U 上约耗时 80ms,实时性要求高时得降分辨率或换 GPU 方案(如 NVIDIA VPI)。
从像素位移到物理速度:绕不开的标定与假设
假设你已得到某点平均位移 disp_px = 42.3 像素,帧间时间 dt = 0.033s,相机焦距 f = 800 像素,目标距离 Z = 10m,那么横向速度近似为:v ≈ disp_px * Z * pixel_size / dt,其中 pixel_size 是单个像素对应的真实长度(单位:m)。而 pixel_size = sensor_width / image_width,sensor_width 需查相机 datasheet(如 Raspberry Pi HQ Camera 是 7.4mm)。
更实用的简化方式(无标定板时):
- 在画面中放一个已知尺寸的参照物(如标准车牌 440mm×220mm),测它在图像中占多少像素,算出该距离下的像素物理尺寸
- 若目标距离变化不大(如高速公路跟车),可用平均距离代入,误差通常 <15%
- 别试图用光流直接估算加速度——二阶差分会放大噪声,建议用卡尔曼滤波融合 IMU 或 GPS 数据
最容易被忽略的一点:光流给出的是图像平面内的投影速度,对俯视/仰视角度大的场景(如无人机斜拍地面),必须用俯仰角做三角修正,否则速度值偏小——这个修正项常被当成“后期优化”拖到最后,结果整个系统上线后速度始终偏低 20%~30%。


















