论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

时间:2021-12-01 09:02:12


【原创】Liu_LongPo 转载请注明出处

【CSDN】http://blog.csdn.net/llp1992

近期在关注 crowd scene方面的东西。由于某些原因须要在crowd scene上实现 anomaly detection。所以看到了这篇论文,该论文是眼下在crowd scene中进行abnormal detection做的最好的,记录下笔记当做学习资料。

传统的 anomaly detection中,非常多突发事件监測都是基于motion information的,这样就忽略了由于appreance导致可是又没有造成 motion abnormal的情况下的漏监測。 比方卡车超重在桥上行走

传统的光流法,像素变化直方图,或者是背景差分法都非常难应用于 crowd scenes ,由于此时的背景是 dynamic的。

也有将 motion 和 appreance 结合在一起进行abnormal detection的

在crowd scene中,非常多一般的abnormal even detection方法都不能取得非常好的效果,由于crowd scene的背景是常常剧烈变化的,传统的方法不能充分检測到这样的变化。

关于Anomaly detection的,关注得不多,眼下看到的方法有以下几种:

  • Social force model
  • Optical flow

social force model 主流的Optical flow方法有点不同,它主要是考虑crowd scene中的Froce,因此就没有Optical flow中的遮挡问题

该论文提出的方法也是基于 Optical flow的,能够适用于 coherent and incoherent scene。创新点例如以下:

  • 利用粒子轨迹对crowd scene进行建模,并提出具有代表性的trajectories 来对复杂的crowd flows进行建模
  • 在 crowd context 中引入 chaotic dynamics(混沌动力学),并通过调节一系列的 chaotic invariant feature来抽取 复杂的crowd motions 信息,这能够用来进行 anomaly detection
  • 提出一个概率框架来进行anomaly detection and localization

Significance of Crowd Scene Analysis

  • 管理大量人群在有限空间的聚集事件
  • 突发事件检測、定位以及警告
  • 集群监督,公共场所监控,安全控制等等

例如以下图,是不同密集层度的集群

论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

challenge

  • 检測的人群目标密度非常大
  • 有多种运动目标的密集层度,如上图
  • 传统方法
    • 是适合在稀疏空间
    • 会受到严重遮挡,检測目标小,目标appreance相似的问题

另外,在crowd scene中,非常多一般的abnormal even detection方法都不能取得非常好的效果,由于crowd scene的背景是常常剧烈变化的,传统的方法不能充分检測到这样的变化

论文的Idea

拉格朗日质点动力学 + 混沌不变量

  • 框架例如以下:


论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

论文创新点

  • 眼下唯一利用粒子轨迹聚类来对crowsed scene 进行建模
  • 在 crowd context中引入混沌不变量
  • 能够处理连贯和不连贯的人流

Particle Advection

当中,T T 是视频帧。WW 是视频帧的宽度, HH 是视频帧的高度

论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

Cluster Particle Trajectories

  • 原则:几条轨迹流可能仅仅是有一个单一的运动目标产生
  • 方法:聚类
    • step1 : 去除那些相对运动量比較少的点或轨迹。由于它们包括的运动信息比較少
    • step2 : 依据轨迹流的位置信息进行K-means聚类
  • 输出:聚类后的代表性轨迹流

在step1中去除点或轨迹的标准是轨迹流的方差。设定阈值 ϵ\epsilon, 去除那些方差比ϵ\epsilon小的轨迹流

var{(Xtw,Yth)}<ϵ

var\{(X^t_w,Y^t_h)\}

轨迹流聚类后例如以下:



论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

这些聚类后的轨迹流就是 representative trajectories。

实验结果证明,突发事件检測基本上对cluster number不敏感

Chaotic Invariants

  • Representation of scenes: Representative trajectories
  • To identify the scene’s dynamics in terms of the dynamics of representative trajectories: lChaotic dynamics by measurable chaotic invariants

论文中说到,运用上面提取的 representative trajectories 能够创建一个基于 Chaotic Invariants 的模型。该模型能够 handle both coherent and incoherent scenes and offer a description using only two features

也就是两个Chaotic Invariants:largest Lyapunov exponent :L 和 correlation dimension:D。

此外,为了进行 anomaly detection。还添加了feature M。代表的是轨迹流 xx 和 yy 的平均坐标 MM

对于 Chaotic Invariants。我个人不是非常懂,理解得不太好。

假设有懂得人还望指教。

Feature Set

由上面可知,本模型得到的特征集例如以下: F={L,D,M}F=\{L,D,M\}

  • L: Largest Lyapunov exponent
  • D: Correlation dimension
  • M: Mean of representative trajectories (Only necessary for position-caused anomalies)

则求解 LL 和 DD 的步骤例如以下:



论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

求解过程还是挺好懂的,就是先找一条轨迹流的最邻近的轨迹流组成轨迹流pairs,然后进行求解LL 和 DD

Advantages of the Algorithm

  • Proven to be insensitive to the changes in time delay, embedding dimension, size of data set and to some extent noise
  • Ensure L>0 for condition of chaotic analysis

计算chaotic feature 时须要的特征比較多,因此本文在轨迹中插入一些点来达到每一个事件序列都有500个点

Anomaly Detection

Definition of anomaly: Spatiotemporal change of scene/system dynamics (chaotic or/and positions)

  • Global anomaly: entire change of dynamics
  • Local anomaly: dynamics changes near particular spatial points
  • Approach: Probabilistic model

详细方法例如以下:

首先运用GMM算法描写叙述正常场景的概率密度函数:

P(Γ|Φ)=∑k=1KwkN(Γ;uk,Σk)

P(\Gamma|\Phi) = \sum^{K}_{k=1}w_kN(\Gamma;u_k,\Sigma_k)

当中:

Γ\Gamma denotes a four (or six if M features are included) dimensional set of random variables with two features for each time series in x and y

KK : 高斯元的个数

uu : 均值

Σ\Sigma : 方差

Φ\Phi : 模型參数

Model Learning

Normality model: Multi-variate GMM

  • Learning by: EM + IPRA algorithm
  • Principle for judging a query as normal or abnormal: Probability of the query belonging to the normality model + ML criterion

也就是。当我们用一些正常的视频序列 SS 来训练模型P(Γ|Φ)=∑Kk=1wkN(Γ;uk,Σk)P(\Gamma|\Phi) = \sum^{K}_{k=1}w_kN(\Gamma;u_k,\Sigma_k),模型的输入每一个 representative trajectories。学习得到模型參数 Φm \Phi_m 后。就能够将測试视频流输入模型,对全部的representative trajectories输出的概率求平均值。依据最大似然准则(ML)将平均值与阈值 LthresL_{thres} 比較推断測试视频是属于normal还是abnormal。

Anomaly Localization

1.计算每一个representative trajectory 对于模型的输出概率

2.定位那些比阈值LthresL_{thres}小的representative trajectory

3.依据位置信息对它们进行聚类得到多个cluster

4.去除那些包括少量trajectories的cluster

5.剩下的那些cluster就是基本的abnormal region

Experiment Results

举个栗子,以下两个图中。人工标记黄色框汇总有人站起来跳舞,其它人在鼓掌。跳舞的人就属于 abnormal 的。

(事实上仅仅给一帧的图片我看不太出)



论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

这是实验结果。中间的图是检測到的全部的abnormal region。右边是去除那些包括少量trajectories 的cluster后的情况,基本能够定位成功



论文笔记:Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes

关于 GMM和EM算法的资料:

http://blog.csdn.net/u012176591/article/details/46051431

K-means聚类和EM思想

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html

(EM算法)The EM Algorithm :

http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html

高斯混合模型(GMM) :

http://www.cnblogs.com/mindpuzzle/archive/2013/04/24/3036447.html

EM及高斯混合模型:

http://www.cnblogs.com/zhangchaoyang/articles/2624882.html

$(function () {
$('pre.prettyprint code').each(function () {
var lines = $(this).text().split('\n').length;
var $numbering = $('

    ').addClass('pre-numbering').hide();
    $(this).addClass('has-numbering').parent().append($numbering);
    for (i = 1; i ').text(i));
    };
    $numbering.fadeIn(1700);
    });
    });