高级 OpenCV] (7) - 视频处理 - 之 - 背景建模与目标跟踪 - I. 背景建模

指在计算机视觉中，从视频序列中提取出静态背景的一种技术。在视频中，背景通常被定义为相对稳定的部分，例如墙壁、地面或天空等。背景建模的目标是将动态的前景对象与静态的背景进行分离，以便进一步分析和处理。

1. 目的

通过背景建模，我们可以实现很多应用，例如运动检测、目标跟踪等等。

2. 方法

背景建模的方法：帧差法，其中又包括两种方法：

1. 基于K近邻的背景/前景分割算法BackgroundSubtractorKNN
2. 基于高斯混合的背景/前景分割算法BackgroundSubtractorMOG2

3. 帧差法

• 原理：

由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。

• 优缺点：

帧差法非常简单，但是会引入噪音和空洞(人物中间是黑色的)问题。

4. 光流估计

• 原理：

光流（Optical Flow）是指图像中一个像素在不同帧之间的运动向量。光流估计的目标是在连续的图像帧之间找到对应的像素，并计算它们之间的位移或速度。其基本原理基于亮度恒定假设，即认为在短时间内，一个像素的亮度值在运动过程中保持不变。根据这一假设，光流估计方法通过观察像素在图像序列中的位置变化来推测它们的运动。

• 前提：

（1）亮度恒定：同一点随着时间的变化，其亮度不会发生改变。

（2）小运动：随着时间的变化不会引起位置的剧烈变化，只有小运动情况下才能用前后帧之间单位位置变化引起的灰度变化去近似灰度对位置的偏导数。

（3）空间一致：一个场景上邻近的点投影到图像上也是邻近点，且邻近点速度一致。因为光流法基本方程约束只有一个，而要求x，y方向的速度，有两个未知变量。所以需要连立n多个方程求解。