摘要论文利用 Kinect 体感传感器研究了室内场景下的人摔倒异常行为的检测以及跳、跑、走、弯腰和坐这5种正常行为的识别。首先利用Kinect  SDK完成深度数据采集程序的设计，并录制了107段行为视频，从中采集了13816副人体骨骼，制作成这 6 类行为的数据集。然后，提取骨骼关节点的三维坐标作为特征向量，分别采用 BP 神经网络与支持向量机的方法在深度数据集上进行三组训练和测试实验，结果都能较好地检测出弯腰、坐和摔倒这三种行为，并且对摔倒这一异常行为均能达到100%的识别率。之后对两种算法进行分析比较，并利用简化人体骨骼模型的方法来进行特征的降维。最后，利用骨骼的动态变化规律，分别提取脊椎点高度的动态轨迹和双手手臂弯曲角度余弦值的动态轨迹的振幅作为特征，对跳、跑、走这三种容易混淆的行为进行识别。最终完成了实时识别上述 6 类行为的程序的设计。   61073

毕业论文关键词  Kinect  异常行为  深度数据  BP神经网络  支持向量机   

Title  On Abnormal behavior detection based on Kinect 3D  Somatosensory Sensor 

Abstract This thesis studies human behavior in home environment using a Kinect 3D Somatosensory Sensor. Six activities including jump, run, walk, bow, sit and fall are subject to study, among which fall is defined as abnormal behavior. To collect the data of the 6 classes of activities, a program using Kinect SDK is designed. Total 107 segments of color videos accompanied by depth information were recorded, which includes 13,816 frames of human skeleton images. Then feature vectors consisting of key three-dimensional  coordinates of skeleton points are extracted and respectively fed into BP neural networks and SVMs for training and testing. Experimental results show that both the two classifiers can detect the bow, sit and fall behaviors  correctly,  especially  for fall, whose detection rate can be 100%.After the comparison and the analysis of the two algorithms, a simplified skeleton model for feature dimension reduction is proposed. In order to distinguish jump, run and walk, the three most confusable activities in the recognition, dynamic motion trajectories of skeletons such as the motion of the spine height and the change of the arm angles are employed. Finally, the thesis reports the design of a real-time human behavior recognition system.   

Keywords    Kinect  abnormal detection  depth data  BP neural network SVM 

目次

1.绪论.1

1.1课题研究目的及研究现状.1

1.2本论文所完成工作及论文章节安排.2

2.基于Kinect的深度动作数据的采集3

2.1Kinect深度数据采集方法3

2.2深度动作数据集.7

2.3本章小结10

3.基于深度信息的异常行为识别11

3.1人体特征提取11

3.2基于BP神经网络的异常动作识别算法.12

3.3基于SVM的异常动作识别算法19

3.4基于骨骼结构的特征降维26

3.5本章小结29

4.基于动态骨骼信息的行为识别30

4.1基于人体质心动态轨迹的行为识别31

4.2基于手臂骨骼动态形态的行为识别33

4.3六类行为实时识别的程序设计36

4.4基于动态信息的识别实验38

4.5本章小结39

结论.40

致谢.41

参考文献42

1.  绪论 1.1  课题研究目的及研究现状 人行为的识别是指通过对视频中行为特征的分析识别出不同的行为，异常行为识别则更加关注视频中的非正常行为的检测，这也是智能视频监控的一个重要目的[1~5]。行为识别在人们生活中有着十分广泛的应用， 如在车站、 银行等公共场所的行为检测，可以帮助工作人员及时发现可疑行为并作处理，避免了事故后的海量取证；对独居老人的行为识别，可以在老人出现如摔倒等情况时及时通知相关人员，采取相应的救助措施。 目前的异常行为识别可以根据识别侧重点的不同，将其分为基于模型的异常行为识别和基于机器学习的异常行为识别这两种方法[6]。文献[7]提出了一种基于主题隐马尔科夫模型的人体异常行为识别方法，聚类简单动作成全局行为，提高了精度。文献[8]基于对高级视频结构的分析，提出了一种动作场景识别算法，将输入的视频分解成很多场景，提取出场景的一些特征来用支持向量机的方法进行分类。 源]自=优尔-·论~文"网·www.youerw.com/ 根据构建的人体模型空间结构的不同，也可以将异常行为识别分为 2D 异常行为识别和3D异常行为识别这两种[9]。 传统的基于可见光摄像机的2D行为识别方法主要利用的是彩色图像提供的二维信息，由于信息量较小，容易受环境、光线、人体外形等因素的影响，识别准确率不高[9]。而利用红外传感器与可见光摄像机相结合的 3D行为识别方法，由于充分利用了人体的三维信息，不易受外界因素的影响，能更加准确地进行动作识别，因此也越来越多被应用于异常行为识别的研究之中。 微软 2010 年推出的 Kinect 体感传感器，就是一款将红外传感器与彩色摄像机相结合的 3D 摄像机。文献[10]提出了一种不依赖于前向时间帧信息的、从单幅深度图中就能得到骨骼关节点3D位置的算法， 成为骨架追踪技术的关键。 目前， 利用Kinect进行数据采集，可以得到人的丰富的深度信息，并且，通过利用骨架追踪技术可以得到骨骼的三维空间信息。这对于人行为识别的研究具有十分重要的意义，因此 Kinect在行为识别领域的应用也逐渐增多。