运动目标检测是运动目标跟踪的前提；运动目标检测，依据目标与摄像机之间的关系可以分为静态背景下的运动检测与动态背景下的运动检测。
一，静态背景下的运动检测：整个监控过程中只有目标在运动；主要包括以下几种方法。
1，背景差分法；整个监控过程中，需要不停地维护一个“纯背景”。对于任意一帧监控画面而言，将其与纯背景进行差分，从而得到出现在当前画面中的运动目标。该方法对光照变化、天气、背景变化比较敏感。而且，需要不停进行地依靠学习来维护一个纯背景画面。此外，背景的维护和更新，阴影去除等对运动目标的检测至关重要。
2，帧间差分法；通过相邻帧之间的差值计算，来获得运动目标的位置、形状等信息的方法。该方法对光照的适应能力很强，但由于运动目标像素上的相似性，从而不能完整地检测出运动目标。需要提醒的是，有研究人员将相邻帧间的差分进行改进，得到三帧差分方法。即，利用相邻三帧之间的差值计算，来进行运动目标的检测。该方法经很多研究人员和工程师的实际测试，证明了其在特定环境中优良的性能。
3，光流法；在空间中，运动可以用运动场描述；而在一个图像平面上，物体的运动往往是通过图像序列中图像灰度分布的不同来体现, 从而使空间中的运动场转移到图像上就表示为光流场。光流场反映了图像上每一点灰度的变化趋势。它可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场,也是一种对真实运动场的近似估计。在比较理想的情况下，它能够检测独立运动的对象而不需要预先知道场景的任何信息, 可以很精确地计算出运动物体的速度，并且可用于动态场景的情况。但是大多数光流方法的计算相当复杂, 对硬件要求比较高, 不适于实时处理, 而且对噪声比较敏感,抗噪性差。
二，动态背景下的运动检测：监控过程中，目标和背景都在发生运动或变化；在运动目标检测的应用环境中，动态背景相比而言更加复杂。根据相机的运动形式，可以分为以下两种：
1，相机支架固定；但相机可以随着云台的运动而发生旋转，倾斜等运动。另外，相机也可以根据远程计算机指令来控制镜头调焦，从而产生远景和近景缩放运动。
2，相机置于移动设备之上（例如，车载相机）；
对于以上两种相机运动形式的任意一种而言，在进行运动目标检测之前，都需要根据一定的方法进行全局运动估计与补偿。通常，可以利用块匹配法、特征点匹配法等进行运动量的估计。当然，也可以利用光流法建立光流场模型，利用光流方程求解图像像素点的运动速度。
运动目标跟踪就是在一个连续视频序列中，在每一帧监控画面中找到感兴趣的运动目标（例如，车辆，行人，动物等）。跟踪可以大致分为以下几个步骤：
（1）目标的有效描述；目标的跟踪过程跟目标检测一样，需要对其进行有效的描述，即，需要提取目标的特征，从而能够表达该目标；一般来说，我们可以通过图像的边缘、轮廓、形状、纹理、区域、直方图、矩特征、变换系数等来进行目标的特征描述；
（2）相似性度量计算；常用的方法有：欧式距离、马氏距离、棋盘距离、加权距离、相似系数、相关系数等；
（3）目标区域搜索匹配；如果对场景中出现的所有目标都进行特征提取、相似性计算，那么，系统运行所耗费的计算量是很大的。所以，我们通常采用一定的方式对运动目标可能出现的区域进行估计，从而减少冗余，加快目标跟踪的速度；常见的预测算法有：Kalman滤波、粒子滤波、均值漂移等；