在实际的监控系统中，面对的监控对象都会同时存在多个。目标的跟踪等价于在连续的图像帧之间创建基于位置、速度、形状、纹理、色彩等特征的对应匹配的问题，对于单个目标, 可以通过获得目标在每一帧中的位置得到运动轨迹, 即建立跟踪。但对于多个目标, 情况较为复杂, 在运动目标遮挡、暂时消失等情况下目标信息丢失使跟踪失败。
多目标跟踪系统结构图
跟踪分为两个步骤，首先对目标进行数据关联，形成目标的航迹，可采用MHT算法。然后根据每个目标历史的位置信息，利用Kalman滤波器进行目标位置的估计，预测目标在下一帧中的位置，对检测到的目标位置进行校正。MHT流程如下图所示：
卡尔曼滤波是以最小均方误差为估计的最佳准则，来寻求一套递推估计的算法，其基本思想是：采用信号与噪声的状态空间模型，利用前一时刻地估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计值。它适合于实时处理和计算机运算。
Kalman原理图