动作识别与行为理解综述

《动作识别与行为理解综述》由会员分享，可在线阅读，更多相关《动作识别与行为理解综述（9页珍藏版）》请在装配图网上搜索。

1、动作识别与行为理解综述徐光祐 曹媛媛普适计算教育部重点实验室清华大学计算机科学与技术系 北京，100084)摘 要 随着“以人为中心计算”的兴起和生活中不断涌现的新应用，动作识别和行为理解逐渐成为计算机视觉 领域的研究热点。本文主要从视觉处理的角度分析了动作识别和行为理解的研究现状，从行为的定义和表示、运 动特征的提取和动作表示以及行为理解的推理方法三个方面对目前的工作做了分析和比较。并且指出了目前这些 工作面临的难题和今后的研究方向。关键词 以人为中心 动作识别 行为理解中图法分类号：TP391文献标识码：AAction Recognition and Activity Understand

2、ing: A ReviewXU Guangyou, CAO Yuanyuan(Key Lab of Pervasive Computing, Ministry of Education, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China)Abstract As the “Human-centered computing” is getting more and more popular and novel applications are coming up, ac

3、tion recognition and activity understanding are attracting researcher s attention in the field of computer vision. In this paper, we give a review of the state in art of work on action and activity analysis, but focus on three parts: Definition of activity, low-level motion features extraction and a

4、ction representation, and reasoning method for activity understanding. Furthermore, open problems for future research and potential directions are discussed.Keywords human-centered computing, action recognition, activity understanding基金项目: 国家自然科学基金资助项目(60673189)收稿日期: 2008-11-28改回日期:2008-12-03第一作者简介:

5、 1940.现为普适计算教育部重点实验室,清华大学计算机系人机交互与媒体集成研究所教授,博士生导师。目前他的主要研究领域为计算机视觉，人机交互，普适计算计算技术。IEEE高级会员，CCF会员。引言计算正渗透和影响到人们生活的各个方面，根 据传感器数据来识别和理解人的动作和行为就成 为 未 来 ” 以 人 为 中 心 的 计 算 ” (Human-centered computing )中的关键1。其中基于视觉的动作识别和 行为理解尤为重要。因为在人之间的人际 (interpersonal)交互过程中,视觉是最重要的信息 视觉可以帮助人们迅速获得一些关键特征和事实， 如对方的表情、手势、体态和关

6、注点等,这些视觉 线索综合起来反映了对方的态度,潜在意图和情绪 等信息。未来人机交互和监控中,机器要感知人的 意图很大程度上就需要依靠视觉系统。此外,视觉 传感器体积小、被动性和非接触式的特点,使得视 觉传感器和视觉信息系统具备了无所不在的前提。 近年来,在对计算机视觉提出的层出不穷的新要求 中,行为理解是一个具有挑战性的新课题,在诸如 智能家居,老年人看护,智能会议室等应用中都起 着至关重要的作用。它要解决的问题是根据来自传 感器(摄像机)的原始图像(包括图像序列)数据, 通过视觉信息的处理和分析,识别人体的动作,并 在上下镜(context)信息的指导下，理解人体动作的 目的、所传递的语义

7、信息。行为理解作为近几年开 始兴起的研究,正在逐渐获得越来越多的关注。人体检测、定位以及人体的重要部分(头部, 手等)的检测，识别和跟踪是人体行为理解的基础， 在解决这些基本问题的基础上，更重要也更困难的 问题就是动作识别和行为理解。对动作识别的研究 可以追溯到90 年代，在2002 年，相关研究的论文 数量经历了一个飞跃式的增长，这些研究大多假设 是在结构化(structured)环境和孤立动作条件下。 所谓的结构化环境就是预先设定和可人为控制的 环境，例如，用于计算机输入的手势识别等，这时 视觉数据采集的光照，视角，距离等因素都是固定 或已知的。这就为改善视觉处理的脆弱性提供了有 利条件。

8、但与此同时，也带来了很大的局限性。例 如，基于生理特征的生物特征识别，目前的方法只 适合于愿意在规定环境下给予系统配合的合作对 象。与此相对，能在自然环境下，基于行为特征的 生物特征识别就更为困难，但具有容易被对象接 受，或不易被察觉的优点。对于各种目的的视觉监 控来说，能工作在自然环境下，更是至关重要。例 如，为帮助老人延长独立生活或改善生活质量的视 觉监控和提示。都需要能在老人生活的日常环境提 供相应的服务。近年来，对日常生活和工作中动作 和行为的理解正成为热点。这是所谓的“日常活动”(Activities of daily living , ADL)的分析和理解。由 于人们在日常生活环境

9、中的动作是自然和连续的， 而且与环境有密切的联系，因此给识别和理解带来 一系列具有挑战性的难题。 1)分布式视觉信息处 理方法和系统。通过多摄像机信息的融合来克服由 于视角，距离，遮挡，光照等多种环境因素带来的 干扰和不确定性是有效但也是富有挑战性的课题； 2)自然连续动作和行为的分割及多层次模型。人 类的日常活动和行为是人体自然和连续的动作，其 中包含了多种类型的运动和动作：无意识的人体移 动，为了操作物体的动作，以及为了进行相互交流， 例如打招呼的，动作和姿态。此外复杂的人类活动 和行为是由一系列动作或操作组成的。系统必在一 个多层次的模型指导下对人体动作进行分割和分 类。而分割和分类又需

10、要有来自对动作和行为理解 的高层模型指导；3)基于上下境( context based) 的行为理解。对动作和行为的理解需要了解当时视 觉环境以及应用的情境。这也就是所谓的要具有“觉察上下境” (context aware)或基于上下境 (context based)视觉处理和分析方法。因为，相同 的动作在不同的情境下传递不同语义。上下境的指 导作用体现在以下二方面: 1)在现实的视场中可能 需要处理的视觉对象和任务非常多，而计算资源是 有限的。此外还有实时处理的要求。这时必须根据 上下境来确定视觉处理的关注点(focus of attention) ;2)在上下境的指导下对动作传递的语义 进

11、行推理。行为理解的研究包含着从底层到高层的多层 处理。底层处理中的人体检测和跟踪、动作识别、 手势识别和轨迹分析等已经有了较多的研究和综 述。而高层的处理方法，如对行为的建模、上下境 在行为推理中的指导等研究还在起步阶段。本篇综 述将重点讨论行为理解中的高层推理的研究现状。2.行为理解的研究现状如引言中所述，行为理解包含了从底层处理到 高层推理的全过程，涉及底层运动特征的提取和表 示、行为的表示方法、以及高层行为语义的推理模 型。下面的综述首先从行为的定义开始，然后讨论 特征提取和表示，最后分析常见的几种行为推理模 型。2.1 行为表示的模型 目前对于行为的表示还没有一个通用的模型， 大部分的

12、研究都是针对特定的应用采用某种行为 表示模型，最常见的分层结构模型，而各个层次表 示的内容取决于应用的需要。人体的行为就其目的 而言可大致分为： 1)与环境交互，例如对物体的 操作；Moeslund2提出了 action/motor primitives, actions, and activities 的分层模型。在 Park3驾驶员 动作的表示模型中，底层为身体某个部位的运动， 如头转动，躯干前移，伸胳膊等。中间层是由底层 各部位的运动组合而成的一个复杂动作。最高层为 人与周围设备的交互动作，即驾驶员对汽车部件的 操作动作，如向左转动方向盘。 2)人际交互。Aggarwal和Park4在2

13、人交互的分析中，把交互行 为分为 3 个层次。最高层是交互行为；中间层为单 个人体的动作；最底层是对身体某个部分运动的检 测和识别。群体交互(group interaction)，例如会 议室场景更是需要多层次的表示5。关于行为的分 层表示方法还可参考2,3,4,6,7,8,9,10。其中特别需要注 意的是Gonzalez7在动作-行为的层次表示中增加 了情境(situation)。情境可认为是最高层的上下境， 它用于解决行为理解的歧义问题。比如挥手这个动 作在“足球赛”和“地铁站”这二种情境中显然是 有不同的含义。综上所述，分层模型已经成为研究者们公认的 一种行为的表示方法，只是在不同的研究

14、背景和任 务下，层次的数量和每个层次的定义各不相同。得 到较多认可的表示模型大致包括如下几个层次：运 动(movement), 动作(action), 活动(activity) 或操作(operation),行为(behavior)。这些层次大 致是按照时间的尺度来进行分割的。但这样的分层 方法在复杂的情况下，有时显得无能为力。更为实 用的是按照任务过程进行分解。例如，老人在厨房 中的做饭活动，它可分为：取食品，处理食材，烹 饪，上菜等过程。其中每个步骤，又可进一步分解， 例如，烹饪又可按菜谱分为若干步骤。这样的分解 是应用导向的。作为一个表示模型除了定义各层表 示的含义以外还需要定义它们之间

15、的关系和运行 机 制 。 Crowley11 提 出了 情 境 网络 (network of situation)的运行框架。我们提出了一个基于多层次 “上下境-事件”的模型5。认为行为的层次结构中， 上层的行为，就是下层动作定义的环境，所以就是 上下境。它定义了什么是下层中发生的有意义的动 作，即事件。相邻层次之间的“上下境-事件”关系 可递归地延伸到所有的层次。所以这个模型具有通 用性。2.2 运动特征的提取和动作表示 视觉或者其他底层运动特征的提取和表示是 进行高层行为理解的推理所必需的基础工作。较早 开始的对动作行为分析的工作很多是采用主动传 感器来获得人体某个部位的运动信息 12,1

16、3,14,15,16 。 这类工作主要是通过人体的四肢或躯干佩戴的各 种传感器来获取该部位的运动特征，然后动作行为 进行分析，由于当前以人为中心的计算强调用户感 觉自然，嵌入式的传感器破坏了用户的感受，给用 户的行动造成不便，因此，目前越来越多的研究开 始转向用视觉这种非嵌入式被动的传感器获取人 体的动作特征。基于视觉的动作表示按特征的性质大致可以 分为两类，一类是基于三维特征，另一类是二维图 像特征。基于三维特征具有视角不变性，适用于分 布式视觉系统下的动作体态表示。Campbell7等人 提出的基于立体视觉数据的三维手势识别系统。Jin【181建立了基于三维模型的动作识别系统。三维模 型通

17、常参数多，训练复杂，计算量大。如果是基于 立体视觉的原理还可能要遇到匹配中的对应性(correspondence)困难。相比之下，基于二维图 像特征的表示计算相对简单，适用于视角相对固定 的情况。下面具体介绍一些基于二维特征的动作表 示。Liu19只对坐，站，躺几个日常生活中最基本的 动作做了分析。他计算了前景区域每个像素的距离 投影(distance projection)DP =(迟(Hi H )2,迟(Vi V )2)(1)cci 二 1i 二 1其中，Hi和Vi表示前景像素在水平和竖直方 向上的坐标，H和V表示前景中点的坐标，M是 cc 前景像素点的个数。每一个动作都用距离投影的高 斯

18、分布来表示。这种特征抽取方法是视角相关的， 文中使用了与人体朝向成90的固定视角。这个视 角上最容易抽取出区分度大的人体形状特征。Nieblesi20把每个动作的一系列视频帧都看做 是一组特征描述词的集合，特征描述词通过提取时 空兴趣点得到。文中定义响应函数如下R = (I* g *h )2 +(I* g *h )2(2)ev od其中，g(x,y,b)是二维高斯平滑核函数，应用 在空间维度上， h 和 h 都是一维 Gabor 滤波器，ev od分别定义为h (t;i,w) = cox(2兀te)e-1仆2和 evh (t;i,w) = sin(2兀tw)e-122并运用在时间 维 od度上

19、。一般情况下，复杂动作发生的区域会产生较 大的响应，局部响应最大的点作为兴趣点。并用梯 度或者光流来描述。Parki3用多高斯混合模型表示人体5个主要部 分(头、脸、胳膊、躯干和下身)的颜色分布，并 用椭圆拟合， Kalman 滤波器随时对参数进行更新。 动态贝叶斯网络被用来检测动作和姿态，驾驶员行 为被用一个表达式表示， 表达式组成 如下： agent-motion-target,其中 agent 表示动作实施者， 如头、手等；motion表示动作；target表示驾驶室 的操作仪器。Chung21 用水平和竖直方向上的一对投影来表 示当前的体态；Roberts。22采用了基于光流的动作 描

20、述子来描述动作，继而与样本集中样本逐个匹配 来识别动作类型；Turagal23也是提取光流作为每一 帧中动作的特征；RyooB用人体外框的长、宽和中 心点的坐标被作为特征Wang25 在办公室异常行为 识别的研究中对提取出的人体区域采用R变换I26】， 提取动作形状， R 变换具有尺寸和旋转不变性，可 以应对人离摄像机距离不同造成的尺寸变化。以上这些工作都是在固定视角下用二维运动 特征表示动作。这时可在最有利的视角观测动作， 但也限制了对象的活动范围，使它难以适应实际应 用的环境。因为现实生活中，观测对象活动范围较 广，位置变化大，导致视角多变；同时由于生活环 境中的家具等也会对人体造成遮挡。

21、因此需要分布 式视觉系统的支持，通过多摄像机信息的融合来克 服由于视角多变，活动范围广以及遮挡带来的各种 问题。这是富有挑战性的难题。基于人体特征例如人头或四肢的运动特征将 可简化信息融合和动作分析。Kim是在分布式环 境下检测人体的躺，站，坐等简单动作，通过自适 应的背景相减得到前景区域，然后用椭圆拟合和 omega 曲线头肩部检测算法检测头部，在任何时刻， 所有的摄像机都会进行全部的底层处理，得到人体 的高度，人体位置，头部位置，人体长宽比和手部 的位置，一个专门的模块将负责从每个摄像机处理 的结果进行人的匹配，并选出没有遮挡的处理结果 作为行为理解的观测向量。再如ParkW在分布式视 觉

22、系统下研究两人交互的行为，文中考虑到了视角 对动作特征抽取带来的影响，因此首先讨论了摄像 机选择的问题。他根据不同摄像机得到的前景区域 的离散度选择最佳视角，可以理解为选择像平面中 两人距离最大的视角，因此避免了遮挡问题。将分 割出的人体区域在水平方向投影，计算得到人体的 中轴，然后人体被按照一个指定参数分割为头，上 身和下身三个部分。用HSV颜色空间表示每个像素 点，用混合高斯模型表示身体的三个部分。可以同 时分析上身和腿部的动作。而在不同视角下检测人 体特征本身也是一个困难的问题，这是这种方法需 要付出的代价。除了上述由于成像环境限制造成的困难以外， 现实生活中的很多动作，例如厨房中的烹饪

23、操作， 很细微，难以单独依靠视觉来检测和识别。而动作 所使用的工具或接触的物体将可提供关于动作明 确的线索。因此有学者提出了根据使用的物品 （object-use）来协助识别对象动作。如果我们知道装 面包的容器被使用了，这往往比识别到人伸手拿东 西这个动作蕴含更多的语义。WU【27】将水壶、电话、 果汁等33个物品贴上电子标签（RFID），并在用户 的手腕上带上接收器。当用户使用某个物品时，接 收器就会接收到该物品上电子标签发出的ID信号。 通过对使用物品的分析能够识别出烧水，打电话， 喝果汁等16种行为。Wangl28也类似地充分利用了 关于“所使用物品”的“常识”对行为理解的指导 意义，通

24、过在物品上贴RFID，手腕上带接收器来获 得物品使用信息。另外有一些工作29,30,31认为人的轨迹甚至人在 某个功能物体（如冰箱、沙发等）附近停留的时间 可以用来解释人的行为，这样的假设就完全避开了 复杂困难的动作分析以及传感器对人体造成的不 便，在这类工作中，环境上下境信息和场景知识受 到极大重视，成为进行行为理解推理所依赖的重要 线索。2.3 行为理解的推理方法 行为理解的推理中广泛采用了基于图模型的 推理方法，如隐马尔科夫模型（ HMM） ,动态贝叶 斯网络（DBN），条件随机场（CRF）等；也有的研 究采用其他的推理方法，如14使用基于规则的决策 树来对一系列表示动作及对象的三元表达

25、式进行 分类。 32,33采用模板匹配的方法，将检测到的运动 特征与训练好的样本逐个匹配，匹配的结果即为对 行为识别的结果。 31使用了有限状态自动机，每个 状态表示当前人体的位置，来对人的轨迹进行分 类，识别异常事件。在目前的行为分析领域中，隐马尔科夫模型（HMM）是较常使用的一种推理模型34,35。HMM 是一种有效的时变信号处理方法，它隐含了对时间 的校正，并提供了学习机制和识别能力。根据不同 应用环境下行为的特性，很多研究对 HMM 进行了 适应性扩展， 比如 Hierarchical HMM ， Coupled HMMs36， Parameterized-HMMQ37等。大部分的模

26、型采用了分层的结构来对应行为的分层特性。 38 在群体交互动作识别中采用两层 HMM 模型，下层 模型对群体中的个体进行动作识别，识别结果作为 上层群体行为识别模型的观测。 39也采用了分层的 模型分析行为，由三层在不同时间粒度上依次增加 的HMM组成oHMM虽然是对时间序列建模的一种 简单而有效的模型，但是当行为变得复杂或者在长 时间尺度上存在相关性，就不满足马尔可夫假设， 27同时考虑了行为的分层结构和状态的持续时间， 提 出 了 Switching Hidden Semi-Markov Model （S-HSMM）,是HSMM模型的两层扩展，底层表示 了自动作及其持续时间，高层表示了一系

27、列由底层 自动作组成的行为。文中给出的实验结果证明了比 HSMM 和 HMM 对行为具有更强的模型表示能力。也有研究将动态贝叶斯网络（DBN）引入到行 为理解中404142。由于 HMM 在一个时间片断上只 有一个隐藏节点和一个观测节点，在一个时刻需要 将所有的特征压缩到一个节点中，那么所需要的训 练样本将是巨大的（相当于联合概率密度函数）；而 DBN 在一个时间段上是任意结构的贝叶斯网络，可 以包含有多个因果关系的节点，即用条件概率来形 成联合概率，训练相对要简单，也给模型的设计提 供了更大的灵活性，能够更准确的表达状态之间以 及状态和观测之间真实的关系，但是设计起来要比 HMM要复杂。阴对

28、DBN和分层的HMM做了详细 的比较并且给出了模型选择和表示时需要考虑的 几个因素：1）可用于训练和测试的数据；2）变量 被观测到的可能性；3）数据之间的内在关系；4） 应用的复杂度。也有些研究放弃了产生式模型而采用区分式 模型来分析行为。 44首先采用采用了条件随机场模 型（CRF）用于行为识别，考虑到HMM最大的缺点 就是输出独立性假设，导致不能考虑上下境的特 征，限制了特征的选择。但是实际情况是，行为的 当前状态往往与一个长的时间尺度上的观测存在 相互的依赖，并且观测之间很可能不是相互独立 的。 CRF 不需要对观测进行建模，因此避免了独立 性假设，并且可以满足状态与观测之间在长时间尺

29、度上的交互。结合产生式模型和区分式模型的优势 对行为理解进行推理将成为未来的研究方向。3 总结和展望以上对动作识别和行为理解的现状做了简要的综 述，但就建立能在复杂的现实世界中提供有效服务 的计算机视觉系统而言，还缺少了二个关键的部 分，这就是：1）如何从复杂的现场背景下快速， 可靠地检测和识别人体（物体）。物体在现实世界 中的位置和光照情况多种多样甚至还有遮挡，但人 类还是能在混乱的场景中快速地检测和识别各种 物体。这是目前的机器视觉远未达到的能力。视觉 认知，计算机视觉和认知神经科学的文献中有很多 证据说明上下境（context）信息极大地影响搜索和 识别物体的效率45,46。上下境的影响

30、是多层次的， 其中包括：语义层（例如，桌子与椅子经常出现在 同一图像中）；空间构造层（例如，键盘一般是在 显示器的下方）；姿态层（例如，椅子通常是朝向 桌子；汽车一般是沿着道路方向停靠）等。研究还 证明空间上下境可为场景预测中可能发生的动作 提供有用的线索47。总之，基于上下境的视觉关注 机制（attention）是解决上述困难的关键；2）上下 境指导下的行为理解。生活中人体动作的语义不仅 取决与本身的状态而且取决于场景中其他人和物 体的当前和历史的状态，也就是取决于上下境。相 同的动作在不同的上下境中代表着不同的语义，这 在会议这样的群体交互场景下尤为突出 5。例如， “举手”的动作，在“大

31、会报告”的场景下，表示 “希望提问”；在“会议表决”时表示决定的取向 等。以上二个关键问题都涉及如何在视觉计算感知 和利用中上下境信息。这也就是当前所谓的基于上 下境的视觉(context based vision)和觉察上下境的视 觉(context aware vision)方法。从视觉处理的策略 来说，目前大多数都是采用自底向上的，从局部到 整体的方式，而基于上下境的视觉处理是采用自顶 向下，从整体到局部的方式。这在一定程度上反映 了人类视觉系统的处理方式。因此，这是重要的值 得注意的研究方向。由于篇幅限制对这个问题只能 在此做简要的介绍。参考文献(References)1 Alejan

32、dro J, Daniel G P, Nicu S, et al, Human-centered computing: toward a human revolution J. Computer, 2007, 40(5):30-342 Moeslund T B, Hilton A, KrgerV. A survey of advances in vision-based human motion capture and analysis J. Computer Vision and Image Understanding. 2006, 104(3): 90-126.3 Park S, Triv

33、edi M. Driver activity analysisfor intelligent vehicles:issuesanddevelopment frameworkA,In:Proceedings of IEEE Intelligent Vehicles SymposiumC, Las Vegas, Nevada, USA, 2005:644- 649.4 Aggarwal J K, Park S., Human motion: modeling and recognition of actions and interactionsA， In: Proceedings of Secon

34、d International Symposium on 3D Data Processing, Visualization and TransmissionC, Thessaloniki, Greece, 2004: 640- 6475 Dai Peng, Tao Lin-mi, Xu Guang-you. Audio-visual fused online context analysis toward smart meeting roomA,In: Proceedings of International Conference on Ubiquitous Intelligence and

35、 ComputingC, Hong Kong, China, 2007: 11-13,6 Bobick A, Movement, activity, and action: the role of knowledge in the perception of motionA, Philosophical Transactions of the Royal Society of London, 1997, 352(1358):1257 - 1265.7 Gonzalez J, Varona J, Roca FX, et al. a Spaces: action spaces for recogn

36、ition and synthesis of human actionsA, In: Proceedings of International Workshop on Articulated Motion and Deformable ObjectsC, Palma de Mallorca, Spain, 2002: 21 - 23,.8 Jenkins O C, Mataric M. Deriving action and behavior primitives from human motion capture data A. In: Proceedings of Internationa

37、l Conference on Robotics and AutomationC, Washington DC, USA, 2002: 2551 - 25569 Nagel H H., From image sequences towards conceptual descriptions J. Image and Vision Computing 1988,6 (2) : 59 - 74.10Mori T, Kamisuwa Y, Mizoguchi H, et al. Action recognition system based on human finder and human tra

38、cker A. In: Proceedings of the 1997 IEEE/RSJ International Conference on Intelligent Robots and SystemsC, Beijing, China 1997:1334 - 134111Crowley J L, Coutaz J. Context aware observation of human activity, multimedia and expo A. In: Proceedings of IEEE International Conference on ICME 02C ,Lausanne

39、, Switzerland, 2002: 90991212Park S, Kautz H. Hierarchical recognition of activities in daily living using multi-scale, multi-perspective vision and RFID, A, In: Proceedings of 4th International Conference on Intelligent EnvironmentsC, Seattle, OR，USA,2008: 1 - 413Ward J A, Lukowicz P, Troster G, et

40、 al. Activity recognition of assembly tasks using body-wornmicrophonesandaccelerometersJ, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006,28(10): 1553 - 156714Yin J, Yang Q, Pan J J. Sensor-based abnormal human-activity detectionJ, IEEE Transactions on Knowledge and Data Enginee

41、ring, 2008,20(8): 1082 - 109015Yang S I, Cho S B. Recognizing human activities from accelerometer and physiological sensors A. In: Proceedings of IEEE International Conference on Multi-sensor Fusion and Integration for Intelligent SystemsC ,Seoul, Korea, 2008: 100 - 1051 6 Purwar A, Jeong D U, Chung

42、 W Y. Activity monitoring from real-time tri-axial accelerometer data using Sensor networkA. In: Proceedings of International Conference on Control, Automation and SystemsC, Seoul, Korea, 2007: 2402 - 240617 Campbell LW, Becker DA,. Azarbayejani A, et al. Invariant features for 3D gesture recognitio

43、n A. In: Proceedings of International Conference on Automatic Face and Gesture RecognitionC, Killington, Vermont, USA 1996: 157-162.18Jin N, Mokhtarian F. , Image-based shape model for view-invariant human motion recognitionJ, IEEE Conference on Advanced Video and Signal Based Surveillance, London,

44、UK, 2007,: 336 - 34119Liu C D, Chuug P C, Chung Y N. Human home behavior interpretation from video streams A. In: Proceedings of the 2004 IEEE International Conference on Networking, Sensing & ControlC, Taipei, Taiwan, China, 2004: 192 - 19720 Niebles J C, Wang H C, Li F F. Unsupervised learning of

45、human action categories using spatial-temporal wordsJ.International Journal of Computer Vision, 2008, 79 (3),: 299-31821 Chung P C, Liu C D. A daily behavior enabled hidden Markov model for human behaviorunderstandingJ. PatternRecognition, 2008,41(5) 1572-158022 RobertsonN, ReidI. Behaviorunderstand

46、ing in video: a combined method A. In: Proceedings of IEEE International Conference on Computer VisionC, Beijing, China, 2005: 808 - 81523 Turaga P K, Veeraraghavan A, Chellappa R. From videos to verbs: mining videos for activities using a cascade of dynamical systems C. Computer Vision and Pattern

47、Recognition, Minneapolis, Minnesota, USA, 2007: 1 - 824 Tabbone S, Wendling L, Salmon J P. A new shape descriptor defined on the Radon transform J. Computer Vision and Image Understanding, 2006,102(1-2): 42-5125 Wang Y, Huang K, Tan T N. Abnormal activity recognition in office based on R transform A

48、, In: Proceedings of IEEE Conference on Image ProcessingC, SanAntonio, TX, USA, 2007: I 41-1-34426Kim K, Medioni G G, Distributed visual processing for a home visual sensor network A. In: Proceedings of IEEE Workshop on Applications of Computer VisionC CopperMountain, Colorado, USA， 2008: 1 - 627Wu

49、J X, Osuntogun A, Choudhury T, et al. A scalable approach to activity recognition based on object use A. In: Proceedings of IEEE International Conference on Computer Vision, Beijing, China, 2007: 1 - 828Wang S, Pentney W, Choudhury T. Common Sense based joint training of human activity recognizers A

50、. In: Proceedings of the 20thInternational Joint Conference on ArtificialIntelligenceC, Hyderabad, India, 2007: 2237-224229Duong T V, Bui H H, Phung D Q, et al.Activity recognition and abnormality detection with the switching hidden semi-Markov model A. In: Proceedings ofIEEE Computer Society Confer

51、ence on Computer Vision and PatternRecognitionC, San Diego, CA， USA, 2005:838- 84530 Nguyen N T, Phung D Q, Venkatesh S. Learning and detecting activities from movement trajectories using the hierarchical hidden markov model A. In: Proceedings of IEEE Computer Society Conference on Computer Vision a

52、nd Pattern RecognitionC, Perth, WA, Australia; 2005: 955- 9603 1 Mahajan D, Kwatra N, Jain S, et al. A framework for activity recognition and detection of unusual activities A. In: Proceedings of Indian Conference on Computer Vision, Graphics, Image Processing CKolkata,India,2004:37-4232Dollar P, Ra

53、baud V, Cottrell G, et al. Behavior recognition via sparse spatio-temporal features A. In: Proceedings of 2nd Joint IEEE InternationalWorkshop on Visual Surveillance and Performance Evaluation of Tracking and SurveillanceC, Beijing, China, 2005: 65 - 7233Liu C D, Chuug P C, Chung Y N. Human home beh

54、avior interpretation from video streams A. In: Proceedings of IEEE International Conference on Networking, Sensing & ControlC, Taipei, China, 2004: 192 - 19734Xu G, Ma YF, Zhang HJ, et al. Motion based event recognition using HMM A. In: Proceedings of IEEE International Conference on Pattern Recogni

55、tionC, Quebec, Canada, 2002: 831 - 83435Sun X D, Chen C W, Manjunath B S. Probabilistic motion parameter models for human activity recognition A. In: Proceedings of International Conference on Pattern RecognitionC, Quebec, Canada, 2002: 443 - 44636 Brand M, Oliver N, Pentland A. Coupled hidden Marko

56、v models for complex action recognition A. In: Proceedings of International Conference on Computer Vision and Pattern Recognition , PuertoRico, 1997 : 994 - 99937 Wilson A, Bobick A. Recognition and interpretation of parametric gesture A. In: Proceedings of International Conference on Computer Visio

57、nC, Bombay, India， 1998:329 - 3363 8 Zhang D, Gatica-Perez D, Bengio S, etal. Modeling individual group actions in meetings: a two-layer HMM framework, A. In: Proceedings of IEEE CVPR Workshop on Detection and Recognition of Events in VideoC, Washington, DC, 2004: 117- 12539Olivier N, Horovitz E, Ga

58、rg A. Layered representations for human activity recognition A. In: Proceedings of IEEE International Conference on Multimodal InterfacesC, Pittsburgh，MA，USA， 2002: 3-840Luo Y, Wu T D, Hwang J N. Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian n

59、etworks J. Computer Vision and Image Understanding. 2003,92(2-3):196-216.41Du Y T, Chen F, Xu W L, et al. Recognizing interaction activities using dynamic Bayesian network A. In: Proceedings of International Conference on Pattern RecognitionC, New York, USA, 2006: 618 - 62142Buxton H, Gong S G. Adva

60、nced visual surveillance using Bayesian networks A. In: Proceedings of International Conference on Computer VisionC, Boston, MA，USA, 1995:111- 12343 Oliver N, Horvitz E. A comparison of HMMs and dynamic Bayesian networks for recognizing office activities A. In: Proceedings of 10th International Conf

61、erence on User ModelingC, Edinburgh, UK，2005: 199-20944 Sminchisescu C, Kanaujia A, Metaxas D.Conditional models for contextual human motion recognition J. Computer Vision and Image Understanding,2006,104(2-3):210 -2045Oliva1 A, Torralba A., The role of context in object recognitionJ.Trends in Cogni

62、tive Sciences, 2007,11(12): 520-52746Torralb A. Contextual priming for objectdetection J. International Journal of Computer Vision, 2003, 53(2), 169-19147 Zibetti E, Tijus C. Perceiving Action from static images: The Role of Spatial Context J. Lecture Notes in Computer Science,2003, 2680/2003：397-410