在计算机视觉基础上的鱼群行为检测与结构特征探究

《在计算机视觉基础上的鱼群行为检测与结构特征探究》由会员分享，可在线阅读，更多相关《在计算机视觉基础上的鱼群行为检测与结构特征探究（9页珍藏版）》请在装配图网上搜索。

1、在计算机视觉基础上的鱼群行为检测与结构特征探究-第一章 引 言1.1 鱼类行为研究目的及意义自 20 世纪 90 年代以来，我国的渔业与水产养殖业得到了迅速的发展，我国水产品产量目前已经占据了全球水产品总产量的三分之一。我国是渔业与水产养殖的大国，近年来，我国已经成为了世界第一渔业大国、主要远洋渔业国家和水产品贸易大国，到 2010年为止，我国的水产品总产量已经达到了 5373 万吨；渔业经济总产值突破 1.29 万亿元，其中渔业养殖产值为 6751.8 亿元；水产品出口额达到 138 亿美元，连续 11 年居国内大宗农产品出口的首位。全国渔业发展“十二五”规划指出，到 2015 年，我国渔业

2、经济总产值将达到 2.1 万亿元，年均增速百分之十点二；渔业产值将突破 1 万亿元，年均增速为百分之八点三。为此，国家还将完善渔业与水产养殖产业的扶持政策，将加大对现代渔业建设的财政支持，大力支持渔业与水产养殖产业的发展。以宁波市为例，宁波市为我国的沿海城市，依托养殖资源丰富、区位优势突出、产业基础较好的有利条件，按照现代农业建设的基本要求“高产、生态、高效、优质、安全”，优化渔业与水产养殖的经济结构，主攻现代化高效水产养殖，最新的 2013 年度年报统计数据显示：宁波市水产品总产量已经达到 99.2 万吨，渔业总产值突破 120.24 亿元，其中养殖产值 63.04 亿元，水产品出口稳居宁波

3、市农产品出口的第一位，目前已经成为宁波市农产品出口中最具有活力的产业。近年来，由于人类活动范围的不断扩大，环境资源受到了很大的破坏，为渔业与水产养殖生产带来了日益严重的压力。渔业与水产养殖过程中的鱼体病害发生越来越频繁，水体污染也日益加剧，鱼类的行为对于水体的盐度变化1、水体内溶氧量的变化2、水体温度的变化3-4、环境的光照强度5和不同光照颜色等外部环境的改变和刺激是非常敏感的，而鱼类由于环境变化而产生的异常行为反应一旦没有及时发现并采取合理的应对措施，很容易造成鱼类批量的死亡，可能会给渔业与水产养殖的养殖户带来巨大的经济损失，同时也严重的制约了渔业与水产养殖业的持续健康发展。通过对鱼类群体行

4、为进行实时的监测，及时发现并检测鱼类群体的异常行为，研究鱼类群体行为与环境参数之间的相关性，可以为鱼类健康监控与预警提供重要的理论依据和手段。通过对鱼类群体结构特征的研究与分析，可以增进对鱼类与自然界关系的认识，并且可以从中获得启发，改进和提高人类的工程技术水平，有助于了解渔业资源的分布，提高资源评估的水平及生态友好型的选择性捕捞效率，同时还可以为鱼类行为的监测提供有力的数据基础，只有对鱼类群体空间分布结构有充分的了解，才能够更好的为现代化水产养殖服务，因此，鱼类群体结构特征的研究具有重要的理论和应用研究价值。.1.2 鱼类行为研究现状与发展趋势1.2.1 鱼类行为研究沿革在鱼类行为研究方面，

5、国际海洋开发理事会 ICES 发挥了重要的作用，国际海洋开发理事会 ICES 于 1967 年正式组建了渔具和鱼类行为委员会，协调大西洋沿海各国的科学研究；1973 年渔具和鱼类行为委员会建立了一个工作组，专门研究鱼类与渔具作业的行为反应；1983 年，鱼类与渔具作业的行为反应的专门研究工作组与捕捞技术组联合组成捕捞技术与鱼类行为研究组，如今，国际海洋开发理事会已经成为了国际鱼类行为研究的重要核心组织6。在国内，我国的渔民在长期实践中积累了鱼类的习性和对渔具渔法的行为反应方面的经验性知识；但是作为一门科学，在二十世纪五十年代末我国的科研人员才开始对鱼类的行为进行观察和研究；随着我国改革开放以来

6、，我国的国际学术交流加强，在二十世纪八十年代，我国多次邀请国际著名鱼类行为学学者来华讲学；到如今，鱼类行为研究已经成为我国渔业科学的重要内容，为捕捞生产、资源保护、有效的进行渔业管理提供了科学依据和技术支持6。1.2.2计算机视觉技术为鱼类行为研究提供重要手段研究鱼类行为可以为设计与生态友好的、具有选择性高的渔具渔法提供数据基础；可以为科学合理的开发渔业资源和渔业的可持续发展提供有力的技术支持；可以为渔业工程，如网箱的设计制造等提供有效的基础数据；还可以提高渔业与水产养殖生产过程的生产效率，同时降低能源的消耗。因此，人们期望从对鱼类的行为研究中获得信息和知识，为人类的科技发展和社会组织管理提供

7、有力的参考依据，从而能够为现代化水产养殖服务。在对鱼类行为的研究工作中，最基础的工作就是观察，最传统的做法主要是采用现场观测的方法，现场观测法具有快速性、全面性、现场性等优点6，可分为直接观测以及仪器观测两类，最近，随着科技的进步，各种水下装备以及搭载工具随之而来，例如水下照相机、水下机器人、超声波探测仪、水下电视观察和摄像系统等，使人们对鱼类行为的观察范围以及观测可能性在很大程度上得到了提高。当今，学科交叉发展迅速，鱼类的行为研究不仅仅是鱼类行为学研究的重要内容，也是现代计算机信息技术等学科的研究对象，已经显示出了强大的生命力，研究的内容才能更加的全面与具体。由于计算机技术的蓬勃发展，科学家

8、在实地观察和实验研究的同时，计算机视觉技术已经成为当前鱼类行为研究的一种重要手段。计算机视觉技术已经成功的为鱼类行为研究中参数的获取与量化表示提供了新的有效途径7-10。目前，国内外的研究学者利用计算机视觉技术对鱼类行为的研究越来越多11，在国外，1996 年 Kato 等12开发了一个计算机图像处理系统，可以用来对金鱼的行为进行量化与分析；随后，Kato 等13在 2004 年开发了一个计算机图像处理系统，并利用这个系统对斑马鱼的行为进行了模拟分析；Suzuki 等14在 2003 年利用计算机视觉技术对鱼类的群体行为进行了数学建模与分析，并对比了在有限的空间里不同大小群体的差异性；Geor

9、galas 等15在 2007 年研究了鱼类的摄食量与行为活跃性之间的相关性；Wang 等16在2009年利用层次分参数Dirichlet过程主题模型对复杂拥挤环境中的活动进行了建模；同年，Delcour 等17对利用计算机视觉系统对鱼群中个体行为的多目标追踪系统进行了一定的研究，对鱼群运动中多目标的跟踪具有很好的鲁棒性和可靠性。我国利用计算机视觉技术对鱼类行为的研究起步较晚，张志强等18-19在 2011 年运用计算机视觉技术对不同种类的淡水鱼实现了自动分类以及质量等级的划分；范良忠等20在 2011年提出了三种适合鱼类行为运动检测的运动目标检测算法；卢焕达等21在 2011 年设计了一种基

10、于计算机视觉系统的鱼类行为监控系统，该系统可以对鱼群实现自动并进行实时的监控；王文静等22在 2012 年利用计算机视觉技术对在水下的半滑舌鳎进行了无损质量估计方法的研究，利用计算机的图像处理技术测量出半滑舌鳎的面积，并对其面积与质量进行-相关性分析，从而达到对在水下的半滑舌鳎进行了无损质量估计。1.2.3 计算机视觉技术在鱼类异常行为检测中的应用鱼类的行为是指鱼类对体内环境变化和外界环境变化的外在反应，包括避敌、攻击、摄食、游泳、生殖、求偶等反应23，鱼类的异常行为是指鱼类所表现出现群体紊乱、厌食、少食、“拱边”、“炸群”等现象，除了鱼类生理生化指标发生变化可以引起鱼类行为的异常外，环境的变

11、化也会引起鱼类的行为变化。随着我国现代化水产养殖的快速发展，越来越多的研究者开始关注鱼类行为的异常检测方法及自动监控技术在现代工厂化水产养殖中的应用24。如何快速判断鱼体是否处于异常状态，已成为降低养殖风险、提高水产养殖品质和效益的重要基础，最传统的做法是采用现场观测的方法对鱼类群体进行观察，通过人为的判断来得出结论，有经验的养殖户经常通过观察鱼的游泳状况和活跃程度来获取其健康状态，并依此调整养殖策略，但是，现场观测法对检测人员的能力要求较高，这个过程不仅仅费时费力，观测结果还在很大程度上依赖观察员的主观意识，难以使得鱼类行为的变化能够及时、准确、客观的识别并且在异常行为时满足预警的要求。因此

12、，当前迫切需要一种简单易行的检测方法和手段，有效实现对鱼类行为的快速检测，为现代化水产养殖服务。通过图像处理技术以及计算机视觉技术来对鱼类的群体行为进行异常检测是一种经济、有效的手段，对于提高现代化水产养殖过程中的科技含量和信息化水平具有非常重要的意义。同时，计算机视觉技术具有廉价、非植入等特点，可以实现无损、快速、实时的鱼类行为检测。.第二章 运动目标检测与跟踪运动目标的检测与跟踪在计算机视觉以及视频图像处理中是最基本的步骤之一，我们在本章中将对运动目标检测与跟踪进行介绍，以便更好的服务后续研究内容。在群体异常行为检测的研究中，我们首先需要对运动目标进行运动区域检测与前景提取，进而应用一种全

13、局分析的方法，利用光流法提取运动特征矢量；在鱼类群体结构特征研究实验中，我们对鱼类群体中的运动目标个体进行单个的跟踪，并记录鱼群中的目标个体在每一视频帧中的位置，继而便可以得到目标个体运动轨迹的变化。所以，在本章中我们介绍的内容分为三部分：运动区域检测与前景提取，光流法以及运动目标的跟踪。2.1 运动区域检测与前景提取在拍摄视频的过程中，摄像机经常处于不变的状态，从而观测到的是一个不变的背景，通常情况下，我们对这些背景并不感兴趣，所以，我们希望将这些背景剔除，这样便只需要对我们感兴趣的区域进行处理。运动目标区域的检测与前景的提取一般情况下指的是将运动区域或运动目标 (通常也称之为前景)从视频序

14、列的图像中提取出来，是视频分析及图像处理中最基本的步骤之一，也是随后高层处理所必须的先决条件。其中，I ( x , y )为当前视频帧图像在像素点( x , y )的灰度值，B ( x , y )为背景图像在像素点( x , y)的灰度值，T 为提前设置的阈值。利用阈值法进行运动区域检测与前景提取计算量小，速度快，是最原始的运动区域检测与前景提取方法，在目前的研究中，这种方法在简单的应用中仍然广泛的使用着。.2.2 光流法利用计算机视觉技术对鱼类的群体行为检测进行研究，一般的做法是首先需要精确地检测出鱼类群体中个体目标在每一帧视频图像中的运动位置，进而实现对视频中鱼群的个体进行准确的跟踪。目前

15、一种新的做法是可以从视频中直接获取整体的行为参数时空特征的，这种做法无需对视频中的个体进行目标提取和跟踪，而是从视频中直接通过算法获取全局或局部点的时空行为特征42-43，这种做法具有较好的抗干扰性和鲁棒性，常见的方法有基于时空的 Harris 角点检测方法44，基于高斯和 Gabor 小波函数检测方法45以及光流法46-47等。利用光流法的实质是从二维图像序列中提取运动物体的参数，然后分析其运动的规律，最终获取三维空间运动物体的各种信息40。2.2.1光流的约束方程我们经常不知道任何的关于视频内容的先验知识，但是需要估计两帧之间或者一个视频序列中目标的运动，我们可以简单的认为光流是物体运动的

16、特征矢量，从而可以使用光流信息来描述物体的运动情况，光流的计算能够解决与物体运动相关的问题，为确定物体的运动参数提供了有效的工具。光流的概念是由Gibson48在1950年最先提出的，在目前光流法的研究当中，光流的计算方法大致可以分为以下三大类49：基于频域的光流计算方法、基于匹配的光流计算方法和基于梯度的光流计算方法。目前，基于梯度的光流计算方法是比较常用的方法，而对于基于梯度的光流计算方法比较典型方法的有Horn-Schunck方法和Lucas-Kanade方法，光流的计算其实就是对约束方程的求解，所以，接下来首先引进光流的约束方程，进而将分别介绍一下Horn-Schunck方法和Luca

17、s-Kanade方法这两种方法。当摄像机发生移动，物体发生移动，或者摄像机和物体同时发生移动时，物体将会在视频序列图像中产生不同的变化，这些变化则可以用来检测到物体的相对运动。如图2.1 所示，光流场是通过二维图像来表示物体点的三维运动的速度场的，即三维速度场通过计算机视觉系统投射在二维平面上，可以形成二维光流场。因此，可以简单认为光流其实就是物体运动的特征，从而可以使用光流信息来描述物体映射在二维平面的运动情况。在这里，我们重点介绍基于梯度的光流计算方法，应用基于梯度的光流计算方法具有两个前提假设：(1)任何三维空间中的物体点所观察到的亮度随时间是恒定不变的，即可以简单的认为图像平面内相邻帧

18、之间像素点的亮度恒定；(2)时间连续或者称像素点的运动是“小运动”，即图像中像素点的运动随时间的变化比较缓慢。如图 2.2，为像素点( x , y )从t 时刻经过dt 时间到达 t +dt 时刻时发生的运动示意图，即相当于两幅帧图像的像素匹配过程，光流反应了在时间间隔dt 内由于运动所造成的图像变换。根据前面的两个假设，我们则认为在视频帧中，物体所对应的像素点的灰度值不会随着像素点的运动而发生变化。即需要假设 I ( x , y , t )是图像中( x , y )在t 时刻的灰度值，u ( x , y )和 v ( x , y )是像素点( x , y )的光流值分别在 x方向和 y 方向

19、上的分量，同时假设运动点经过dt 时刻运动到点( x + dx , y + dy)时，对-应的灰度值不发生变化，其中 dx =udt，dy =vdt，进而可以得到光流的基本公式:对于 I ( x + dx，y + dy , t +dt)进行一阶泰勒展开，则可以得到下式：.第一章鱼群异常行为检测.153.1 实验平台.163.2 鱼群的运动区域检测与前景提取.173.3 基于光流法的鱼群运动特征提取.183.4 鱼群目标运动特征统计.193.5 基于标准互信息(NMI)的鱼群行为异常检测. 233.6 基于局部距离异常因子(LDOF)的鱼群行为异常检测. 243.7 鱼群行为异常检测结果分析.2

20、53.8 本章小结.28第四章 鱼群结构特征研究通过对鱼类群体结构特征的观察和研究，能够使我们更好的了解鱼类群体的行为，进而可以改进和提高人类的工程技术水平，为现代化水产养殖业服务，所以，接下来在本章中我们要对鱼类群体结构特征进行研究。我们首先利用计算机视觉系统获取鱼群行为的视频，进而利用 Kalman Filter 目标跟踪算法对鱼类群体的视频序列图像中的鱼类个体进行了跟踪定位。在本章中，在对鱼类群体中个体跟踪定位的基础上，我们做了以下三方面的主要工作：对鱼群个体近邻距离的分布进行统计分析研究；对鱼群中个体之间的相对位置进行了相关性的分析研究；最后对鱼类群体建立了社会网络，研究了不同大小群体

21、的社会网络结构特征的不同。4.1 实验平台在本章的试验中，我们选用个体较小、具有集群习性的红色斑马鱼(鱼体长度：(13.45.8)mm)作为试验鱼。在试验前，我们首先将斑马鱼分成五组不同大小的群体，分别为：5 条，10 条，20 条，30 条和 50 条，将五组群体分别饲养于五个相同的白色背景圆形容器中，圆形容器的直径为 1.5m。在开展本试验之前，先将斑马鱼在试验室环境中饲养 10 天的时间以适应试验环境以及熟悉群体内的其他个体。鱼类的粪便以及没有食用完的饲料会在下次投喂前用虹吸管吸出，我们的养殖水采用经过充分曝气、除氯和调温后的自来水，室内的温度控制保持在 20。本章中所有的试验数据采集采

22、用如图 4.1 所示的由一个图像采集卡和一台摄像机组成的计算机视觉系统，摄像机安装在圆形容器的正上方并将镜头正对下方的水面，调整镜头使其拍摄范围能够完全覆盖整个鱼群的画面。试验拍摄的视频图像分辨率为720480 像素，位深度为 24 位，帧率为 15fps。4.2鱼群的运动目标跟踪在本章中，由于我们所拍摄的视频是鱼类群体平稳并且有规律的运动，而且背景简单，所以在这里，我们采用了前文提到的Kalman Filter目标跟踪算法对鱼类群体的视频序列图像中的个体进行了跟踪定位，实验结果表明，Kalman Filter目标跟踪算法的跟踪精度非常高，准确的获取了鱼群视频中各个时刻的每条鱼的位置信息，同时

23、通过减少特征匹配中的区域搜索范围，从而有效的提高了跟踪算法的运行速度节省了跟踪时间。4.3鱼群个体空间关系特征研究对鱼类群体结构特征的总结和概括是一种统计学的结果，所以在本节接下来的工作是基于统计学进行的。为了表示更加清晰，在这里，我们首先对群体中每一帧视频图像中的每一条鱼周围的邻居都进行重新编号，最近的邻居标号为1，次近邻标号为2，三近邻标号为3，依次类推。在本章的试验研究中，视频拍摄的图像画面中鱼的体长大约为28像素左右，所以在这里，我们将所有的长度单位统一定义为鱼的体长，用bl表示(即1 bl=28像素，bl: body lenghth)。4.3.1鱼群个体近邻距离分布研究首先，我们对5

24、条鱼的群体即N=5时拍摄的鱼类群体的视频跟踪数据进行处理，分别统计了其个体与其最近邻，次近邻，三近邻距离的分布，如图4.2所示。图4.2(a)为个体与其近邻距离的分布图，横轴表示的是距离，单位为bl，纵轴则为概率值，图中蓝色曲线表示的是个体与其最近邻之间距离的概率分布，红色曲线表示的是个体与其次近邻之间距离的概率分布，绿色曲线表示的是个体与其三近邻之间距离的概率分布。图4.2(b)为个体与其最近邻，次近邻，三近邻之间距离分布的均值及方差，黑色圆点表示均值，竖线表示的是方差。统计结果表示，在N=5的群体中，个体与其最近的邻居之间的距离分布在1bl附近，与其次近邻之间的距离分布在1.5bl附近，与

25、其三近邻之间的距离分布在2bl附近。接下来我们对不同大小的群体中个体与其近邻距离的分布进行了统计研究，即对鱼群中的个体与其最近邻，次近邻，三近邻之间的距离分别进行了统计，得到了如图4.3左图所示的概率分布图。如图4.3所示，图4.3(a)为鱼群中个体与其最近邻之间距离的 概率分布图，图 4.3(b)为鱼群中个体与其次近邻之间距离的概率分布图，图 4.3(c)为鱼群中个体与其三近邻之间距离的概率分布，其中，蓝色的曲线代表的是 N=5 时个体与其近邻之间距离的概率分布，红色曲线代表的是 N=10 时个体与其近邻之间距离的概率分布，黑色曲线代表的是 N=20 时个体与其近邻之间距离的概率分布，黄色曲

26、线代表的是N=30 时个体与其近邻之间距离的概率分布，绿色曲线代表的是 N=50 时个体与其近邻之间距离的概率分布，横轴表示的是群体中个体与其近邻之间的距离，单位为 bl，纵-轴则为概率。由 4.3 左图可以看出，在鱼群中无论群体中个体的多少，其个体与其相同标号的近邻之间距离分布的峰值都集中在同一个区域，即在鱼类群体中，个体与其近邻之间的距离分布与群体的大小关系并不大。.第五章 结论5.1 总结近年来，随着计算机技术的蓬勃发展，计算机视觉技术已经成为当前鱼类群体行为研究的一种重要的研究手段。本文希望通过对鱼群行为的相关研究，能够为现代化水产养殖提供理论基础，本文重点研究了以下两部分的内容，鱼类

27、群体行为的异常检测以及对鱼类群体结构特征的分析研究。(1)鱼类群体行为的异常检测本文利用计算机视觉技术，基于阈值法的前景检测方法，将背景从原始视频序列图像中去除，进而利用Lucas-Kanade光流算法，从鱼群运动视频图像中得到目标鱼群在不同时空的运动矢量，有效的避免了对鱼群中个体的跟踪，然后采用统计学方法，对目标运动的速度和相对转角这两个行为特征进行联合统计，从而可以得到联合直方图以及联合概率分布。选取相对转角和速度这两个特征作为统计分析对象，这是因为从实际问题来看，鱼群的异常行为主要是运动速度突变或者运动方向不一致导致的不规则行为，所以，我们认为相对转角和速度的信息能够包含鱼群行为的最主要

28、信息，能够对鱼群的行为进行较为准确的刻画和表示。接下来，在对转角和速度进行特征统计的基础上，应用基于标准互信息和局部距离异常因子的两种方法对鱼群异常行为进行检测。试验结果表明，两种异常检测方法均达到了对鱼群行为进行异常检测与预警的目的。(2)鱼类群体结构特征的分析与研究利用计算机视觉技术获取鱼群运动的视频序列图像，并基于Kalman Filter目标跟踪算法对鱼群中的个体进行跟踪与定位，获取视频序列图像中鱼群个体的位置信息，首先对鱼群中个体与其周围的不同近邻进行了位置的统计分析，研究表明，在鱼类群体中，个体之间的舒适距离与鱼的体长接近；随后对鱼群中个体间的相对位置做了相关性分析，结果表明，在鱼群中的个体与其最近的邻居相关性是最大的；所以，在本文的最后，我们根据最近邻居的关系对群体建立了不同群体大小的社会网络，进而在社会网络的基础上，研究了不同群体大小的网络结构的差别，分析了网络密度和网络集聚系数两个指标。.