基于视觉的工业机械手定位抓取系统虚拟实验开发带开题报告.zip
基于视觉的工业机械手定位抓取系统虚拟实验开发带开题报告.zip,基于,视觉,工业,机械手,定位,抓取,系统,虚拟,实验,开发,开题,报告
一、选题依据1论文(设计)题目基于视觉的工业机械手定位抓取控制系统设计及研究2研究领域工业机器人 机电控制系统理论基础研究3论文(设计)工作的理论意义和应用价值机器人技术的发展为制造业企业带来了新活,解决了人力资源短缺问题并提高了产品质量和工作效率,单纯的机器人技术在一些高端应用场合受到限制,而引入视觉系统可满足柔性化生要求,推进了人工智能的进程。机器人对环境目标具备一定的认知能力,通过感知环境目标确定自身的行动,使其不需运动接触即可对环境目标实现抓取等动作,因此视觉图像系统已成为提高机器人智能化的一个较为热门的方向。将计算机视觉和图像处理技术应用于机器人本体系统,可以提高机器人的工作效率和对环境的适应能力,并进一步拓展机器人的受固定环境限制的应用范围。从机器人本体所在的工作场景中准确认知并对目标进行抓取, 是机器人尤其是工业机器人的基本实际问题,机器视觉技术与工业机器人的结合,除了最为关键的图像处理以及目标检测定位等相关技术以外,还有工业机器人运动控制中位姿表示和图像坐标系与机器人世界坐标系之间的转换问题。该类问题是制约机器人在排爆、搬运、组装和焊接等领域应用的技术水平的主要因素,研究意义重大。4目前研究的概况和发展趋势工业机器人又称工业机械手、机械操纵臂等,是适用于工业自动化生产的机电一体化设备。自第一台工业机器人在美国诞生以来,工业机器人得到了迅速的发展,它是集控制工程、电子技术、机械制造、传感器、计算机科学、仿生学、人工智能等多学科为一体的总和性前沿技术。工业机器人能模仿人类手臂的工作和运动方式可以实现对目标物体的抓取、加工、装配、检测踪等工序。机器人的研发及生产制造能力是衡量一个国家科技创新能力和生产制造先进水平的重要标志,目前世界各国都在加快推进机器人的研发和应用,工业机器人的发展趋势是(1)集成化、网络化和开放化发展,随着 PC 技术和集成电路设计水平的发展,机器人控制系统由原来的封闭式控制转变为面向用户的开放式和网络化的控制系统,实现远程实时控制和多台设备协同操作完成任务。(2)多传感器的融合的智能化发展,高度智能化的机器人集视觉、力、位移等多种传感器于一体,能实时检测周围环境并进行分析、推理和判断执行相应操作,具有独立工作的能力。(3)模块化、标准化各部件实行标准化和模块化生产,不同型号的机器人之间可相互更换模块重构组成具有新结构和新功能的机器人,模块化还能够减少研发周期和降低成本。(4)重型化、高速化和微型化发展,面向于工业生产的重型化机器人面对大型工件能够高效率、高精度的执行搬运、加工等任务,微型化机器人适用于需要精细化操作的任务。在机器视觉方面最早出现在制造业,通过机器视觉系统来完成生产线上高重复度的作业,因为精度高、重复动作、及成本低等优点被运用多种场合。视觉系统将摄像机拍摄的工件目标信息转换为图像信息,图像信息经过图像采集卡转成数字信号, 计算机分析数字信息并提取目标特征值反馈给机器人,控制机器人的动作。在工业生产过程中,采集产品数据,有效的保证系统稳定运行。机器视觉技术经过长期的发展,满足柔性化生产要求叫广泛运用于工业控制领域如汽车行业、饮料行业、电子行业、太阳能斤业、食品行业、制药与化妆品行业、仓储和输送行业、交通运输行业等。机器视觉技术与工业机器人的结合,除了最为关键的图像处理以及目标检测定位等相关技术以外,还有工业机器人运动控制中位姿表示和图像坐标系与机器人世界坐标系之间的转换。二、论文(设计)研究的内容1.重点解决的问题视觉特征模型的建立 控制系统设计及虚拟仿真。2.拟开展研究的几个主要方面(论文写作大纲或设计思路)(1).工业机器人相关理论研究主要研究内容有u 视觉特征提取模型的建立u 机械手雅克比矩阵及机械臂运动学及关节控制u 控制系统设计方案u 控制系统流程图u 控制系统硬件选择u 基于深度学习的定位目标预测优化(2) 软件系统的开发:u 控制系统设计及虚拟仿真u Matlab 对视觉的预处理u 神经网络对抓取过程的训练优化3.本论文(设计)预期取得的成果了解工业机器人的结构及其性能参数,并优化机械手定位抓取过程,在基于视觉特征模型的理论基础上完成机械手坐标系和视觉系统坐标系的统一,最后能用 matlab 对整个抓取定位过程的优化和仿真,并完成控制系统的开发。三、论文(设计)工作安排1.拟采用的主要研究方法(技术路线或设计参数)首先根据 CCD 提取工件的特征参数信息,进行理论研究,建立该位置的几何建模,确定该位置在相机中机器视觉的坐标和机器人的坐标对应关系。接着利用深度对图像特征提取过程进行预测优化。然后建立机器人运动的坐标原点,通过对机械臂关节控制的研究(为了让机器人末端驱动器沿期望的笛卡尔轨迹运动,它的每一个关节必须跟随特定的关节空间轨迹,在本次毕业设计中主要讨论机器人关节控制方法:独立控制和基于模型的控制)以及对机械手雅可比矩阵(考虑关节坐标变化率与末端执行器速度之间的相关性可通过机械臂的雅可比矩阵体现)的分析完成一个简单的抓取过程。其次利用深度学习方法训练这一过程达到快捷准确这一目标。再者搭建控制系统,并完成控制系统的控制系统硬件选择,控制系统设计方案及控制系统流程图,控制系统设计及虚拟仿真。最后完成控制系统的优化设计。 2.论文(设计)进度计划第一周:机器视觉相关知识第二周:查阅相关的参考文献第三周:完成开题报告第四周:撰写文献综述第五周:了解机器视觉的工作原理第六周:了解控制系统的设计第七周:视觉特征提取模型的建立第八周:控制系统硬件选择第九周; 控制系统设计方案及控制系统流程图第十周:基于深度学习的定位目标预测优化第十一周:控制系统设计及虚拟仿真第十二周:控制系统设计及虚拟仿真第十三周:毕业论文的撰写与修改 第十四周:评阅,准备毕业答辩四、需要阅读的参考文献1 李传朋.基于机器视觉和深度学习的目标识别与抓取定位研究D.中北大学, 2017.2 卢冠男.基于机器视觉的工业机器人抓取系统的研究D. 合肥工业大学,2017.3 廖毅洲.视觉引导工业机器人定位抓取系统设计 J.电子世界, 2017,No.51177-78+88.4 夏菠.基于双目视觉的动态目标定位与抓取研究 D.西南科技大学, 2016.5 刘念.基于视觉机器人的目标定位技术研究 D.华南农业大学, 2016.6 忽正熙.基于模式识别与机器视觉工件的识别及分拣 D.昆明理工大学, 2016.7 周衍超.基于视觉引导的机器人智能抓取技术研究 D.广东工业大学, 2015.8 翟敬梅, 董鹏飞, 张铁.基于视觉引导的工业机器人定位抓取系统设计 J.机械设计与研究, 2014,30(153), 05 53-57.9 夏群峰,彭勇刚.基于视觉的机器人抓取系统应用研究综述 J.机电工程, 2014,31(232), 06 25-29+38.10 许凡.视觉引导的抓取机器人控制技术的研究与开发 D.江南大学, 2014.11 周中伟.机器人智能抓取的视觉引导技术研究 D.江西理工大学, 2014.12 杨扬. 基于机器视觉的服务机器人智能抓取研究 D.上海交通大学, 2014.13 黄浩乾. 采摘机械手的设计及其控制研究 D.南京农业大学, 2010.14 邹月伟. 基于机器视觉的目标识别及其路径优化的研究 D.西安理工大学, 2009.15 王红涛.基于视觉的工业机器人目标识别定位方法的研究 D.西安理工大学, 2007.16 党薛梦霞, 刘士荣, 王坚.基于机器视觉的动态多目标识别J. 上海交通大学学报, 2017, 51(6):727-733.17 Peter Findlay. Intelligent System for Automated Components Recognition and HandlingD.Johannesburg: Mechanical and Manufacturing Engineering Department, Rand Afrikaans University,2002.18 Hager G D, HutchinsonS,Corke P I. A tutorial on visual servo controlJ.IEEE Transaction on Robotics and Automation,2007,12 (5):651-670.19 Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing C.San Francisco: IEEE International Conference on Robotics and Automation,2000.附:文献综述1 引言工业机器人能模仿人类手臂的工作和运动方式可以实现对目标物体的抓取、加工、装配、检测踪等工序。机器人可以替代部分甚至全部的人力操作,极大的减轻工人的劳动强度并促进生产的自动化,还可以在高温、高压、放射性、污染性等恶劣环境下工作,并能保证高精度、高质量、高效率的完成工作任务。工业机器人已经在机械、汽车、船舶、电子、航空航天等领域内得到广泛的应用,工业机器人的人均使用率体现了一个国家的自动化生产程度和工业发展的技术能力,而控制系统是决定机器人功能和性能的主要因素,在一定程度上制约着机器人技术的发展,它的主要任务就是控制机器人在工作空间中的运动位置、姿态和轨迹、操作顺序及动作的时间等。模块化、层次化的控制器软件系统、网络化机器人控制器技术等关键技术直接影响到机器人的速度、控制精度与可靠性。而近年来,随着机器视觉的发展与研究,越来越多的机器人配备了视觉图像系统,各样的视觉图像为机器人提供了十分需要的外界信息,明显推动了机器人在自主移动和机械臂准确定位技术方面的实质性提高。同时,许多视觉和图像算法的成功应用也显著提升了机器人的智能水平,而机器人本身对目标物进行抓取的实时性、准确性和稳定性,也是机器采用视觉引导进行智能抓取的智能水平的标准体现。要提高机器人所作的一系列动作的智能水平,使其具备智能化移动和抓取的功能,关键是使机器人对环境目标具备一定的认知能力,通过感知环境目标确定自身的行动,使其不需运动接触即可对环境目标实现抓取等动作,因此视觉图像系统已成为提高机器人智能化的一个较为热门的方向。将计算机视觉和图像处理技术应用于机器人本体系统,可以提高机器人的工作效率和对环境的适应能力,并进一步拓展机器人的受固定环境限制的应用范围。从机器人本体所在的工作场景中准确认知并对目标进行抓取,是机器人尤其是工业机器人的基本实际问题,该类问题是制约机器人在排爆、搬运、组装和焊接等领域应用的技术水平的主要因素,研究意义重大。为了更好的完成本次论文,在写作前从近些年的期刊杂志、学位论文及相关书籍中收集了大量的关于机器视觉以及机器人抓取定位的参考文献,其中不乏基于末端开环视觉系统的机器人目标抓取研究 、基于机器视觉的离散傅里叶变换目标识别方法 、基于机器视觉的动态多目标识别等期刊文献。本文以被广泛应用于工业机械中工件产品等定位抓取的机器人为研究对象, 研究基于视觉的定位,设计抓取机器人控制系统设计开发及理论支撑,并应用深度学习方法对机器人进行优化,最后得到一个优化之后的控制系统。2 国外研究状况机器人控制技术的发展,针对结构封闭的机器人控制器的缺陷,开发“具有开放式结构的模块化、标准化机器人控制器”是当前机器人控制器的一个发展方向。近几年,日本、美国和欧洲一些国家都在开发具有开放式结构的机器人控制器,如日本安川公司基于 P C 开发的具有开放式结构、网络功能的机器人控制器。我国 863 计划智能机器人主题也已对这方面的研究立项。 由于适用于机器人控制的软、硬件种类繁多和现代技术的飞速发展,开发一个结构完全开放的标准化机器人控制器存在一定困难,但应用现有技术,如工业 PC 良好的开放性、安全性和联网性,标准的实时多任务操作系统,标准的总线结构,标准接口等,打破现有机器人控制结构封闭的局面,开发结构开放性、功能模块化的标准化机器人控制器是完全可行的。由于机器人性能的不同,对运动控制板的要求也不同。美国 De1taTau 公司推出的 PMAC(Programinable Multi-axies Controller)在国内外引起重视。PMAC 是一种功能强大的运动控制器,它全面地开发了 DSP 技术的强大功能,为用户提供了很强的功能和很大的灵活性。借助于 Motorola 公司的DSP56001 数字信号处理器,PMAC 可以同时操纵 1-8 轴,比起其他运动控制板來说,有很多可取之处。由于适用于机器人控制的软、硬件种类繁多和现代技术的飞速发展,开发-个结构完全开放的标准化机器人控制器存在一定困难,但应用现有技术,如工业 PC 良好的开放性、安全性和联网性,标准的实时多任务操作系统,标准的总线结构,标准接口等,打破现有机器人控制器结构封闭的局面, 开发结构开放性、功能模块化的标准化机器人控制器是完全可行的。另外机器视觉技术自上世纪六、七十年代被提出,经过不断地发展,在上世纪九十年代被广泛应用到工业环境中。从机器视觉的底层开发到机器视觉应用, 积累了大量的技术基础,成熟的技术将机器人视觉系统应用在半导体和电子行业。20 世纪 5 年代机器视觉主要用于二维图像的研巧,60 年代 MIT 的 ROBERTS70 年代提出了较为完整的机器视觉理论:Marr 视觉理论,20 世纪 80 年代视觉技术快速发展,进入发展正轨,90 年代至今进入最活跃的阶段,广泛应用于多个领域。目前,欧美、日本等国家在机器视觉领域的研究处于领先地位,相应的应用也比较成熟。国外机器视觉技术的研究团队主要有:伯克利大学机器视觉小组, 玛丽女王大学机器视觉小组,南加利福尼亚大学机器视觉小组,剑桥大学视觉与机器人研究小组,卡耐基梅隆大学机器人学院,阿姆斯特丹大学智能系统实验室,MIT 计算机科学与人工智能实验室,MIT 机器视觉实验室等。3.国内研究状况工业机器人运行稳定、速度快、精度高、适应环境能力强,市场前景十分广阔, 也是目前技术最成熟,应用最广的一类机器人。机器人控制系统是机器人系统中的指挥中枢,因此机器人控制系统必须可靠性高、功能全面、响应速度快。哈尔滨工程大学设计的基于 PMAC 运动控制工业机器人控制系统是一种典型控制系统。采用开放式硬件和软件结构,方便功能扩展适和各种用途的工业机器人, 并且设计控制系统时考虑了从控制角度降低系统运行误差。 焊接机器人的作为工业生产机器人,应用十分广泛。尤其是对于我国南方的集中化生产工厂,对于自动化生产机器人的需求十分强烈,同时,对于通过视觉辅助机器人运动进行视觉伺服的功能研发也是今后长时间的研究热点以及对于进一步通过机器人减少人工工作的重要突破口。针对以上问题,浙江大学基于数字图像处理,软件研发的知识,研究了一般的焊接机器人研发方式,通过设计,编程以及验证,研发了焊接机器人的控制软件,并同时对于焊接的相关视觉技术进行了研发。 北京石油化工学院基于 PMAC 设计了管道缺陷检测机器人的控制系统,采用 PC 机和PMAC 运动控制卡组合的控制模式。PC 机控制云台的转动,实现管道缺陷图像的采;PMAC 控制机器人本体的运动。实验证明,该控制系统能够对管道缺陷检测机器人进行精确控制,使之准确检测到管道的缺陷。 物流产业对经济发展的贡献日益突出。码垛是提高物流系统中物资搬运效率和存储利用率的重要手段, 使用码垛机器人代替人工码垛已经成为物流行业发展的趋势。码垛机器人可以提高生产效率和产品质量,并提高系统应对新的物流需求的能力。上海交通大学4 探讨了基于 Windows/RTX 的码垛机器人控制系统软件设计。结合码垛机器人是一个实时多任务系统的特点,搭建了 Windows/RTX 的软件平台,在能够继续利用 Windows 操作系统原有丰富资源的前提下,通过扩展 RTX 实时模块弥补了Windows 系统在实时性方面的缺陷,满足了机器人控制系统的实时性要求。该系统符合机器人控制器开放性设计的思想,当机器人功能要求变化时,只需要在体系结构中添加或删除相应的模块,而不需要修改软件体系结构将机器人的任务, 提高了机器人的柔性,降低了机器人维护和升级的成本,为开发更多功能的机器人控制系统奠定了基础。 柔索牵引摄像机器人系统有着广泛的应用前景,由于其自身的运动特性能给观众带来前所未有的视觉体验,目前许多大型赛事的实况转播和综艺广播电视节目的录制都采用了该设备。国内学者对柔索牵引并联机器人的理论研究成果已经很丰富,但是柔索牵引摄像机器人控制系统的成品设计却较少报道。西安电子科技大学5设计了一种柔索牵引摄像机器人控制系统,能够实现摄像机器人在三维工作空间内任意运动,并且运动速度平稳可控。4.发展趋势及展望机器人的研发及生产制造能力是衡量一个国家科技创新能力和生产制造先进水平的重要标志,目前世界各国都在加快推进机器人的研发和应用,工业机器人的发展趋势是(1) 集成化、网络化和开放化发展,随着 PC 技术和集成电路设计水平的发展,机器人控制系统由原来的封闭式控制转变为面向用户的开放式和网络化的控制系统,实现远程实时控制和多台设备协同操作完成任务。(2) 多传感器的融合的智能化发展,高度智能化的机器人集视觉、力、位移等多种传感器于一体,能实时检测周围环境并进行分析、推理和判断执行相应操作,具有独立工作的能力。(3) 模块化、标准化各部件实行标准化和模块化生产,不同型号的机器人之间可相互更换模块重构组成具有新结构和新功能的机器人,模块化还能够减少研发周期和降低成本。(4) 重型化、高速化和微型化发展,面向于工业生产的重型化机器人面对大型工件能够高效率、高精度的执行搬运、加工等任务,微型化机器人适用于需要精细化操作的任务。5.本文开展的工作(1) 利用 matlab 对视觉特征提取完成定位模型的建立(2)根据收集资料及相关分析完成控制系统设计方案,控制系统流程图及控制系统硬件选取。(3) 根据理论基础研究完成控制系统设计开发任务书论文(设计)题目:基于视觉的工业机械手定位抓取系统虚拟实验开发工作日期:2017年12月18日 2018年05月25日1.选题依据:本课题源自教师科研课题,主要完成典型机械手定位抓取系统设计及视觉定位研究,可培养学生综合运用机电理论知识解决实际课题的开发设计能力,也可培养学生的学习能力和理论研究能力,具有较好的创新性和设计实践意义。2.论文要求(设计参数):基于工业应用的典型机械手,完成: 1.工业机械手基本理论研究;2.定位抓取系统方案和硬件设计; 3.基于matlab系统开发; 4.视觉定位理论研究;5.编写设计说明书(大于6000字);6.外文翻译一篇(大于2000字)3.个人工作重点:1.工业机械手定位抓取系统方案和硬件设计;2.应用matlab软件进行定位抓取功能系统开发及虚拟仿真;3.视觉识别理论研究。4.时间安排及应完成的工作:第1周:下达设计任务,介绍设计内容和具体要求。查阅文献,了解课题。 第2周:撰写开题报告和文献综述。第3周:修改完善开题报告和文献综述。确定外文翻译文章。 第4周:完成外文翻译。开题答辩。第5周:了解工业机械手基础理论和视觉识别相关基础知识。 第6周:定位抓取控制系统方案设计。第7周:控制系统硬件系统设计。第8周:Matlab 模块熟悉和基本功能学习。第9周:控制系统开发及虚拟仿真。第10周:控制系统开发及虚拟仿真。第11周:视觉识别理论研究。第12周:视觉识别理论研究。第13周:整理设计资料,编写设计说明书。第14周:修改完善设计说明书。准备答辩。5.应阅读的基本文献:1.夏群峰,彭勇刚.基于视觉的机器人抓取系统应用研究综述J.机电工程,2014,31(232),06 25-29,38.2.翟敬梅,董鹏飞,张铁.基于视觉引导的工业机器人定位抓取系统设计J.机械设计与研究,2014,30(153), 05 53-57.3.廖毅洲.视觉引导工业机器人定位抓取系统设计J.电子世界,2017,No.5114.卢冠男.基于机器视觉的工业机器人抓取系统的研究D. 合肥工业大学,2017.5.周衍超.基于视觉引导的机器人智能抓取技术研究D.广东工业大学,2015.6.许凡.视觉引导的抓取机器人控制技术的研究与开发D.江南大学,2014.7.杨贺然,张莉彦.基于末端开环视觉系统的机器人目标抓取研究J.组合机床与自动化加工技术, 2012(12):37-40.8.黄浩乾.采摘机械手的设计及其控制研究D.南京农业大学,2010.9.刘念.基于视觉机器人的目标定位技术研究D.华南农业大学,2016.10.忽正熙. 基于模式识别与机器视觉工件的识别及分拣D.昆明理工大学,2016.11.希超.基于视觉导向的机械手抓取定位技术研究D. 华南理工大学, 2013.指导教师签字:XX教研室主任意见:同意签字:XX 2017年12月14日教学指导分委会意见:同意签字:XX 2017年12月15日 学院公章进度检查表第-4周工作进展情况接受设计任务,熟悉设计内容和具体要求。查阅文献,了解课题。2018年04月10日指导教师意见讲解毕业设计任务书、工作要求、各节点工作安排。讲解开题报告撰写内容和要求,查阅文献方法,确定外文翻译文章要求。指导教师(签字):XX 2018年04月14日第-2周工作进展情况撰写开题报告和文献综述。准备阅读大量文献,并进行总结2018年04月10日指导教师意见提交了开题报告第一稿。主要问题:对毕业设计工作重点理解有偏离,视觉方面的研究是难点,而工作重点和工作主要内容应为机械手虚拟实验开发,完成机械手模型和虚拟实验。重新修改。指导教师(签字):XX 2018年04月14日第-1周工作进展情况修改完善开题报告和文献综述。确定外文翻译文章。开始翻译2018年04月10日指导教师意见修改了开题报告,重新调整工作内容和工作重点。修改后思路较清楚,论述较充分,格式基本规范。开题答辩自述比较清楚,同意开题。指导教师(签字):XX 2018年04月14日第 1周工作进展情况完成外文翻译。明白文献要阐述的问题,并结合自己的课题。2018年04月10日指导教师意见完成外文翻译,注意外文翻译语句通顺和专业角度表达、格式规范进行调整。指导教师(签字):XX 2018年04月23日第 3周工作进展情况了解工业机械手基础理论和学习视觉识别相关基础知识。2018年04月10日指导教师意见进度稍慢。确定设计方案、所用开发语言和开发平台。建议采用 Labview进行虚拟开发。指导教师(签字):XX 2018年04月23日第 5周工作进展情况定位抓取控制系统方案设计,零部件选取,机械手三维图纸制作。2018年04月10日指导教师意见完成机械手三维设计,细节部分需要完善。另外,三维设计结构应置于虚拟开发系统之中,利用进行视觉识别以控制。指导教师(签字):XX 2018年04月23日第 7周工作进展情况控制系统硬件系统设计,硬件性能评估及其选取。绘制流程图。2018年04月10日指导教师意见内容不全,控制系统设计再补充完整。最好给出相应的硬件器件。指导教师(签字):XX 2018年04月23日第 8周工作进展情况Matlab 及labview 模块熟悉和基本功能学习。构建基本模型2018年04月10日指导教师意见用Labview构建了机械手仿真基本模块,完成动手仿真控制;应用Matlab完成了物体模型建立。指导教师(签字):XX 2018年05月13日第 9周工作进展情况控制系统开发及虚拟仿真,完成SolidWorks图。以及机械臂的labview控值仿真和控制流程图,毕业设计说明书编写。2018年04月10日指导教师意见基于Labview进行工业机械手虚拟仿真开发,整理设计资料,撰写设计 说明书。指导教师(签字):XX 2018年05月18日第 10周工作进展情况控制系统开发及虚拟仿真。完成机械手的labview控值仿真和控制流程图,毕业设计说明书编写。2018年04月10日指导教师意见设计说明书整体结构需要调整,层次不够清晰。进一步修改完善设计说明书。指导教师(签字):XX 2018年05月18日过程管理评价表评价内容具体要求总分评分工作态度态度认真,刻苦努力,作风严谨32遵守纪律自觉遵守学校有关规定,主动联系指导教师,接受指导33开题报告内容详实,符合规范要求54任务完成按时、圆满完成各项工作任务43过程管理评分合计12 过程管 理评语 该同学工作态度认真、工作比较刻苦努力,工作作风较为严谨。前中期受到考研影响,开题报告和设计方案部分较为滞后;中后期能较合理安排毕业实习和毕业设计关系,基本上按进度开展各项工作。虽兼顾毕业实习,但能遵守学校规定和指导教师要求,通过网络及时与老师沟通,进行工作汇报和接受指导,并且能独立地开展毕业设计,根据老师意见及时进行修改和完善。开题报告经几次修改后,能围绕设计主题进行论述,内容较为详实,格式经修改后符合规范要求。能按时完成设计任务书的各项任务。指导教师签字:XX日期:2018-05-20指导教师评价表评价内容具体要求总分评分选题质量符合培养目标要求,有一定的研究价值和实践意义,有一定的开拓性、创新性,深度、难度适宜,工作量饱满54能力水平有较强的综合运用知识能力、科研方法运用能力、中文表达与外语能力、文献资料检索能力、计算机应用能力54完成质量文题相符,概念准确,分析、论证、计算、设计、实验等正确合理,结论明确;论文结构、撰写格式、图表等符合基本规108指导教师评分合计16 指导教 师评语 毕业设计题目源自实验室建设项目内容,主要完成机械结构建模和仿真实验系统开发,为综合类设计题目,工作量适中,稍有难度,有一定的创新性和研究价值。该同学数学分析能力和专业基础知识罗扎实,具备较强的学习能力、文献检索能力,计算机文档能力和专业专业软件应用能力较强,也具备一定的研究能力,但在中文表达和外能力方面一般,在计划上稍为薄弱。整套毕业设计,完成了工业机械手和抓紧系统三维建模,以及完成基于Labview的机 械手虚拟实验开发,并且初步进行了视觉定位的理论研究和数值分析。设计说明书整体框架完整,层次清楚,但在表达自己设计内容尚不够充分,外文翻译基本与原文相符,格式经多次修改后符合规范要求。完成了任务书要求,同意答辩。指导教师签字:XX日期:2018-05-20评阅人评价表评价内容具体要求总分评分选题质量符合培养目标要求,有一定的研究价值和实践意义,有一定的开拓性、创新性,深度、难度适宜,工作量饱满53能力水平有较强的综合运用知识能力、科研方法运用能力、中文表达与外语能力、文献资料检索能力、计算机应用能力54完成质量文题相符,概念准确,分析、论证、计算、设计、实验等正确合理,结论明确;论文结构、撰写格式、图表等符合基本规108评阅人评分合计15 评阅人 评语 本研究基于视觉的机械手定位抓取研究虚拟实验开发,采用solidworks软件进行机械结构设计建模,应用Labview进行虚拟实验系统开发,采用matlab软件对位姿进行了数学分析。选题基本符合 培养目标要求,有一定的研究价值和实践意义,有一定的开拓性、创新性,深度、难度适宜,工作量基本饱满。从论文完成情况看,该生具备一定的综合运用知识能力、科研方法运用能力、中文表达与外语能力、文献资料检索能力、计算机应用能力;具有一定的综合运用知识能力、科研方法运用能力、中文表达与外语能力、文献资料检索能力、计算机应用能力;文题相符,概念准确,分析、论证、计算、设计、实验等基本正确合理,结论基本明确;论文结构、撰写格式、图表等基本符合规范要求。建议参加答辩。评阅人签字:XX评阅人工作单位:XX日期:2018-05-23答辩纪录 学生姓名:XX专业班级:XX 毕业论文(设计)题目: 基于视觉的工业机械手定位抓取系统虚拟实验开答辩时间:2018年05月 日 时 分 时 分答辩委员会(答 主任委员(组长): XX辩小组)成员委员(组员):XXXX答辩委员会(答辩小组)提出的问题和答辩情况问题1:二值化边缘处理方法回 答: 波处理、信号变换方法,波是处理复杂的。问题2:坐标系提取完后定位中用图片定位回 答: 图片是无法定位的,平面位置定位,垂直距离是一定的。问题3:滤波用的什么滤波回 答: 滤波用SMOOTH。问题4:矩形定位法作用回 答: 找到物体坐标值。问题5:夹爪设计中怎样保证同步回 答: 齿轮传动比1:1.问题6:怎样同时运动?回 答: 用同一个电机同时驱动。问题7:用matlab做空间运动角中,能将数值转到2aboview 回 答: 可以动,但需要实验。问题8:滤波方法有几种? 回 答: 未回答上来。记录人: 2018年05月24日答辩委员会评价表评价内容具体要求总分评分自述总结思路清晰,语言表达准确,概念清楚,论点正确,分析归纳合理109答辩过程能够正确回答所提出的问题,基本概念清楚,有理论根据108选题质量符合培养目标要求,有一定的研究价值和实践意义,有一定的开拓性、创新性,深度、难度适宜,工作量饱满54完成质量文题相符,概念准确,分析、论证、计算、设计、实验等正确合理,结论明确;论文结构、撰写格式、图表等符合基本规108能力水平有较强的综合运用知识能力、科研方法运用能力、中文表达与外语应用能力、文献资料检索能力、计算机应用能力108答辩委员会评分合计37 答辩委员会评语 XX同学在毕业设计工作期间,工作努力,态度认真,能遵守各项纪律,表现良好。 能按时、全面、独立地完成与毕业设计有关的各环节工作,具有一定的综合分析问题和解决问题的能力。 论文立论正确,理论分析得当,解决问题方案实用,结论正确。 论文使用的概念正确,语言表达准确,结构严谨,条理清楚。 论文中使用的图表,设计中的图纸在书写和制作时,能够执行国家相关标准,规范化较好。 具有一定的独立查阅文献资料及外语应用能力,原始数据搜集得当,实验或计算结论准确。 答辩过程中,能够简明和正确地阐述论文的主要内容,思路清晰,论点基本正确;回答问题准确,有应变力;有较好的语言表达能力。答辩成绩: 37答辩委员会主任:XX2018年05月29日成绩评定 项目分类成绩评定过程管理评分12指导教师评分16评阅人评分15答辩委员会评分37总分80成绩等级B成绩等级按“A、B、C、D、F”记载成绩审核人签章: XX学院审核人签章: XX基于视觉的机械手定位抓取研究虚拟实验开发摘要工业机器人是面向工业领域的,集多学科先进技术于一体的机电一体化自动化装备。工业机器人的设计与制造是一个非常复杂的过程,涉及的技术和领域很多,主要包括系统化、感知技术、识别处理能力、传动技术等。本文首先介绍国内外工业机器人的发展过程、现状及趋势,简单介绍机器人仿真系统的应用。介绍了六自由度关节式机器人组件和结构类型,建立了机器人结构模型,给出设计方案,以及机械结构三维设计。其次研究六自由度关节式机器人仿真系统的开发,选择较优的仿真开发平台-Labview,并建立工业机械手模型,完成仿真动作,并举例实现这一研究。 再者完成视觉技术的开发,建立目标物的位姿坐标系,在 LabVIEW 环境下搭建模拟仿真机械手定位抓取平台, 并结合 LabVIEW 环境中 mathscript 添加了图像处理,边缘检测,矩形标定法以及几何计算等 MATLAB 算法程序,对于规则三维物体,根据识别出的目标物的形状、尺寸和位置信息;搭建工作台需要一款工业相机及目标物组成的实验平台。对该系统建立坐标系,进行摄像标定、目标物形状尺寸和位姿识别。最后利用matlab 工具箱求解雅克逆矩阵解,求得各个关节的运动角度完成抓取过程。本文研究成果为工业自动化中应用 视觉引导机器人识别抓 取三维物体提供了实践意义的借鉴。关键词: 位置标定;图像处理; 视觉识别;Labview 仿真开发IABSTRACTIndustrial robots are mechanical and electrical integration automation equipment that is oriented to the industrial field and incorporates multidisciplinary and advanced technologies. The design and manufacture of industrial robots is a very complex process involving many technologies and areas, including systematization, sensing technology, identification processing capabilities, and transmission technologies.This article first introduces the development process, status and trends of industrial robots at home and abroad, and briefly introduces the application of robot simulation systems. The six-degree-of-freedom articulated robot components and structure types are introduced. The robot structure model is established, the design scheme is given, and the three-dimensional design of the mechanical structure is presented. Secondly, the development of the six-degree-of-freedom articulated robot simulation system was studied. Labview, the best simulation development platform, was selected. The industrial manipulator model was established, the simulation was completed, and an example was implemented. In addition, the development of vision technology was completed, the coordinate system of the objects pose was established, and a simulation robots positioning and grabbing platform was set up in the LabVIEW environment. In addition, image processing, edge detection, rectangular calibration method, and geometric calculation were added to mathscript in the LabVIEW environment. Such as MATLAB algorithm program, for the regularthree-dimensional objects, according to the shape, size and position information of the identified target object; to build a work table requires an experimental platform composed of an industrial camera and a target object. A coordinate system is established for the system to perform camera calibration, object shape size and pose recognition. Finally, using the Matlab toolbox to solve Jacos inverse matrix solution, the motion angle of each joint is completed. The research results of this paper provide a practical reference for the application of vision guided robots in industrial automation to capture three-dimensional objects.Keywords: 3D simulation; position calibration; image processing; industrial robotII目录摘要IABSTRACTII1. 绪论11.1 概述11.2 发展前景及方向11.3 机器人的视觉引导控制31.4 本文设计内容32. 2 抓取机器人设计12.1 控制系统构成22.2 机械结构三维设计32.3 定位抓取结构设计32.4 机械手视觉抓取系统原理42.5 基于视觉抓取硬件选型53. 3 仿真系统开发93.1 开发平台选择93.2 工业机械手模型的建立93.3 动作控制的实现104. 4 视觉识别技术的开发144.1 视觉识别技术理论研究144.2 位置坐标系的建立184.3 基于 Matlab 的开发技术205.5 结论23参考文献24致谢42I基于视觉的机械手定位抓取研究虚拟实验开发1. 绪论1.1 概述机械手是一种模拟人手操作的自动机械。它可按固定程序抓取、搬运物件或操持工具完成某些特定操作。应用机械手可以代替人从事单调、重复或繁重的体力劳动,实现生产的机械化和自动化,代替人在有害环境下的手工操作,改善劳动条件,保证人身安全,因而广泛应用于机械制造、冶金、电子、轻工和原子能等部门。20 世纪 40 年代后期,美国在原子能实验中,首先采用机械手搬运放射性材料,人在安全间操纵机械手进行各种操作和实验。50 年代以后,机械手逐步推广到工业生产部门,用于在高温、污染严重的地方取放工件和装卸材料,也作为机床的辅助装置在自动机床、自动生产线和加工中心中应用,完成上下料或从刀库中取放刀具并按固定程序更换刀具等操作。机械手主要由手部和运动机构组成。手部是用来抓持工件(或工具)的部件, 根据被抓持物件的形状、尺寸、重量、材料和作业要求而有多种结构形式,如夹持型、托持型和吸附型等。运动机构,使手部完成各种转动(摆动)、移动或复合运动来实现规定的动作,改变被抓持物件的位置和姿势。运动机构的升降、伸缩、旋转等独立运动方式,称为机械手的自由度。为了抓取空间中任意位置和方位的物体,需有 6 个自由度 。自由度是机械手设计的关键参数 。自由 度越多, 机械手的灵活性越大,通用性越广,其结构也越复杂。一般专用机械手有 23 个自由度。机械手的种类,按驱动方式可分为液压式、气动式、电动式、机械式机械手; 按适用范围可分为专用机械手和通用机械手两种;按运动轨迹控制方式可分为点位控制和连续轨迹控制机械手等。机械手通常用作机床或其他机器的附加装置,如在自动机床或自动生产线上装卸和传递工件,在加工中心中更换刀具等,一般没有独立的控制装置。有些操作装置需要由人直接操纵,如用于原子能部门操持危险物品的主从式操作手也常称为机械手。1.2 发展前景及方向工业机器人已广泛应用于汽车及汽车零部件制造业、机械加工行业、电子电气行业、橡胶及塑料工业、食品工业、木材与家具制造业等领域中;并开始扩大4到国防军事、医疗卫生、生活服务等领域,如无人侦察机、警备机器人、医疗机器人、家政服务机器人等均有应用实例,当前我国工业机器人产业已初具规模。其主要发展方向:1 重复高精度精度是指机器人、机械手到达指定点的精确程度, 它与驱动器的分辨率以及反馈装置有关。重复精度是指如果动作重复多次, 机械手到达同样位置的精确程度。重复精度比精度更重要, 如果一个机器人定位不够精确, 通常会显示一个固定的误差, 这个误差是可以预测的, 因此可以通过编程予以校正。重复精度限定的是一个随机误差的范围, 它通过一定次数地重复运行机器人来测定。随着微电子技术和现代控制技术的发展,机械手的重复精度将越来越高, 它的应用领域也将更广阔, 如核工业和军事工业等。2 模块化有的公司把带有系列导向驱动装置的机械手称为简单的传输技术, 而把模块化拼装的机械手称为现代传输技术。模块化拼装的机械手比组合导向驱动装置更具灵活的安装体系。它集成电接口和带电缆及油管的导向系统装置, 使机械手运动自如。模块化机械手使同一机械手可能由于应用不同的模块而具有不同的功能, 扩大了机械手的应用范围, 是机械手的一个重要的发展方向。3 机电一体化由“可编程序控制器- 传感器- 液压元件”组成的典型的控制系统仍然是自动化技术的重要方面;发展与电子技术相结合的自适应控制液压元件, 使液压技术从“开关控制”进入到高精度的“反馈控制”; 省配线的复合集成系统, 不仅减少配线、配管和元件, 而且拆装简单, 大大提高了系统的可靠性。而今, 电磁阀的线圈功率越来越小, 而 PLC 的输出功率在增大, 由 PLC 直接控制线圈变得越来越可能。随着科学与技术的发展, 机械手的应用领域也不断扩大.目前, 机械手不仅应用于传统制造业如采矿,冶金,石油,化学,船舶等领域,同时也已开始扩大到核能, 航空,航天,医药,生化等高科技领域以及家庭清洁,医疗康复等服务业领域中.如,水下机器人,抛光机器人,打毛刺机器人,擦玻璃机器人,高压线作业机器人,服装裁剪机器人,制衣机器人,管道机器人等特种机器人以及扫雷机器人,作战机器人,侦察机器人,哨兵机器人,排雷机器人,布雷机器人等军用机器人都是机械手应用的典型。机械手广泛应用于各行各业.而且,随着人类生活水平的提高及文化生活的日益丰富多彩,未来各种专业服务机器人和家庭用消费机器人将不断贴近人类生活, 其市场将繁荣兴旺1.3 机器人的视觉引导控制工业机器人产品,由于其成熟的设计理论,各种机器人的优劣就取决于各自的硬件控制。而相关的控制器在目前的技术理论条件下已经能够提供各种安全有保证的控制策略,比如直线插补、关节插补、圆弧插补等运动,这类运动可以使我们更好的规划机器人的动作轨迹,使其在运动过程中更加美观。只要给定执行件需要的运动方位及其相关参数,如速度,时间等信息,控制器就能够相应的控制机器人做出我们预期的目标动作。因而在设计机器人的动作抓取时,研究者不用担心如何改进和调整这些成熟的运动控制技术。主要的研究难点集中于以下三个方面:(1)如何从摄像机捕获的图像中分辨出我们需要获得的被检测物的三维信息;(2)如何快速的确定被抓取物与机械手之间的相互位置以及被抓取物的位姿状态;(3)如何规划机械手手爪的抓取动作,保证其稳定性和可靠性。简单地讲,第一点就是需要设计如何让机器人知道将要抓取的是何种形状的物体,第二点就是需要让机器人知道将要抓取的物体在何种位置,第三点就是控制机器人如何稳定地抓取物件。计算机视觉具有可以处理大量信息,可以实现无损检测,检测范围广,精度高等特点,随着近年来其在工业机器人领域的广泛应用, 较大地推动了机械生产的自动化、智能化。目前的检测手段有很多种,机器视觉以其接近人类观察特性的特点,被研究者广为青睐,尤其是在识别、检测领域更是发展迅速。1.4 本文设计内容首先,了解国内外工业机器人的发展过程、现状及趋势,简单介绍机器人仿真系统的应用。了解六自由度关节式机器人组件和结构类型,建立了机器人结构模型,给出设计方案,以及机械结构三维设计。并研究六自由度关节式机器人仿真系统开发, 选择较优的仿真开发平台,建立工业机械手模型,完成仿真动作,并举例实现这一研究。然后完成视觉技术的开发,建立目标物的位姿坐标系,利用 MATLAB 完成对图像的采集和特征提取处理。 最后完成对本次论文内容的总结(1)机器人设计u 完成机械手结构设计,了解其工作原理,画出 SolidWorks 图。u 完成机械手控制系统设计,利用 Labview 完成仿真。(2)工业机器人相关理论研究u 完成视觉特征提取模型u 控制系统流程图u 控制系统硬件选择(3) 软件系统的开发:u 控制系统设计及虚拟仿真u Matlab 对视觉的预处理u MATLAB 程序编写基于视觉的工业机械手定位抓取系统虚拟实验开发2. 抓取机器人设计本文设计的工业器人应用于抓取工业零件来增加效率,机器人在工作时需要满足在其活动范围内能达到任意的位姿,通过收集各种类型抓取机器人的资料并分享比较的其优缺点后,确定选择六自由度关节型机器人,其机械结构如图 2.1 所机器人具有六个自由度。图 2.1 六自由度机器人其中自由度分别是腰关节的移动和转动、大臂的摆动、小臂的摆动和腕部的转动,都为关节连接,采用六自由度串联关节式结构,其结构如图 2.2 所示。机器人的六个关节均为转动关节,第二、三、五关节作俯仰运动,第一、四、六关节作回转运动。机器人后三个关节轴线相交与一点,为腕关节的原点,前 3 个关节可以确定腕关节原点的位置,后 3 个关节可以确定末端执行器的位姿。第 6 关节预留适配接口,用来安装不同的工具或接头(如手爪)以适应不同的工业需求和任务。图 2.2 六自由度机器人机构432.1 控制系统构成完整的机器人结构由三大部分和六个子系统组成如 2.3 所示。三大部分分别是机械、传感和控制部分。六个子系统是驱动、机械结构、感受、机器人环境交换、人机交换和控制系统。驱动系统,主要功能要机器人运作起来,各需各个关节即每个运动自由度安置传动装置。图 2.3 机器人构成控制系统的任务是根据机器人的作业指令程序以及传感器反馈回来的信号支配机器人的执行机构去完成规定的运动和功能。其组成为 CPU、示教盒:、操作面板、硬盘和软盘存储存 、数字和模拟量输入输出、打印机接口 、传感器接口、轴控制器 、辅助设备。机器人控制系统多采用分布式结构,即上一级主控计算机负责整个系统管理以及坐标变换和轨迹插补运算等;下一级由许多微处理器组成,每一个微处理器控制一个关节运动,它们并行地完成控制任务。因而能提高整个控制系统的工作速度和处理能力。分布式控制系统具有开放性特点,可以根据需要增加更多的处理器,以满足传感器处理和通信的需要。如图 2.4 所示。图 2.4 总控制流程图2.2 机械结构三维设计机器人型号选择是实现机器人完成任务准确定位的重要因素之一,由实际的工业生产效况中抓取零件的几何尺寸和物理化学性能以及抓取的速率和效果来选取较优的机械臂和机械手。其中按机器人结构形式一般工业机器人为 6 个自由度前三个称为手臂机构,后三个称为手腕机构。根据手臂机构的运动不同形式的组合得到不同的机器人机构形式。可分为:直角坐标式(PPP),圆柱坐标式(RPP),球坐标式(RRP)。根据实际零件大小以及抓取条件。本系统使用的是六自由度关节机器人如SolidWorks 图 2.5 所示。图 2.5 SolidWorks 三维图其中机械臂的运动性能如下:S 旋转轴 动作范围 -90到 +90最大速度 185/秒L 下臂轴 动作范围 +50到 -100最大速度 185/秒U 上臂轴 动作范围 +5到 +163最大速度 185/秒R 手腕旋转轴动作范围 -360到 +360最大速度 360/秒B 手腕摆动轴动作范围 -360到 +360最大速度 410/秒T 手腕回转轴动作范围 -360到 +360最大速度 500/秒2.3 定位抓取结构设计执行机构的设计。执行机构是机器人完成工作任务的机械实体。机械手臂:由杆件机构和关节机构组成空间开链机构,又可以分为机座腰部臂部肩和肘腕部。机器人末端执行器的种类有很多, 以适应机器人的不同作业及操作要求。 在 设计末端执行器时,应注意如下几点:1) 机械爪是根据机器人作业要求来设计的。新的机械爪的出现可以增加一种机器人新的应用场所,可以拾取不同种目标物。2)要求机械爪重量轻结构紧凑,满足工作强度需求。3) 要求在夹持工件时,应有一定的形状约束,保证工件在夹紧过程中停止和加载且不改变姿态。当松开工件时,应完全松开。机械爪可分为圆弧开口式 圆弧平行开闭式和直线平行开闭式。本设计选用弧形开闭型。这种类型是由传动机构驱动的。指尖的运动轨迹是圆弧,两只手是圆弧围绕分支点移动。这种夹持器对工件夹持部的尺寸有严格的要求,否则会使工件处于无序状态。其结构如图 2.6 所示。图 2.1 双齿轮爪2.4 机械手视觉抓取系统原理机械手视觉抓取系统是指利用动态视频每一帧获取图像信息,在将获取的每一帧图像经过系统的处理,提取有用的特征,同时完成对这些特征信息的分析处理, 并根据最终的结果来控制外界机械动作。本文设计的机器视觉的工作原理为:首先通过照明系统将目标物成像到摄像机上;然后将像机将图像传感器接收到的光学图像转化为计算机能够处理的电信号,并整合给图像处理系统;接着系统对这些电信号进行处理得到特征信息;最后将得到的电信号输出给计算机。具体见图 2.7。图 2.7 总流程图由机械手视觉抓取系统的工作原理知,典型的基于视觉的机器人应用系统如下图 2.8 所示:1 光源 2 TS、3 像机、4 HDMI、5 处理系统、6 控制单元、7 执行机构、8 光电传感器(触发图像采集器),9 物件。其中图 2.8 为总流程框架。图 2.8 机械手系统原理图2.5 基于视觉抓取硬件选型在经典的基于视觉的机械手抓取系统中,关键技术包括光源照明技术,相机,TS,图像处理算法和执行系统。光源照明技术在 机器视觉产品中,优良的照明方案是整个系统完成既定任务的关键因素。优良的光源和照明解决方案都具有以下特点: 尽可能地突出物体的特征。(1)照明方案影响机器视觉系统采集的输入数据的质量。由于目前没有通用 的机器视觉照明设备,所以对每个应用都有不同的照明方案。光源可分为可见光和不可见光,常见的几种可见光源有白炽灯、水银灯和钠光灯等。从表 1 可以看出,LED:良好的显色性,光谱范围宽,稳定时间长,光强度高。另外,高频荧光灯具有高发光强度和良好的性价比,并且经常用于某些特殊场合。见表 2.1 光源特点比较。表 2.1光源对比种类颜色寿命/h亮度特点卤素灯白色/浅黄荧光灯白色/浅绿LED灯红 / 黄 /绿,HID灯白色/浅蓝50007000很亮发热多50007000亮便宜60000100000较亮发热少30007000亮持续光2) 摄 像 机 CCD 技术具有体积小、重量轻、寿命长且抗冲击、清晰度高等特点,在机器视觉中得到广泛应用。见图 2,9.图 2.9CCD 摄像机本文使用的是大华公司的 A5131CG75 工业相机,如图 2.2 所示,其性能参数, 如表 2.2 所示。表 2.2 CCD 工业相机参数性能指标参数芯片PYTHON 400像素数250万分辨率1280*1024帧率100帧/秒拉伸7/10颜色彩色供电方式直流6-24V尺寸30mm*30mm*30mm3)光学镜头 本文选取 Pomeas 公司的特写变倍镜头,如图 2.10 所示,其参数如表 2.3 所示。图 2.10 特写变倍镜头表 2.3 镜头参数表性能指标参数靶面尺寸2/3焦距(mm)12接口C-接口光圈手动变焦手动尺寸33.5*28.24)图像采集卡图像采集卡是把摄像头、VHS、DVD 机等模拟设备的信号导入的计算机内;电脑摄像头一般是 USB 接口,像素、线数、照度等参数达不到监控级别,所以采集卡与监控摄像头做监控;采集卡除了保存图像信号,主要还是不同的采集卡有不同的压缩算法,配合软件,可以在保持高分辨率的前提下,压缩数据料。使用图像采集卡的原因是由于图像信号数据量大,传输速度非常高,通用传输接口难以满足要求。其功能主要有:图像信号接 收和 A / D 转换模块主要放大和数字化图像信号主要是控制摄像头实现同步或实现异步复位拍照时等;总线接口主要通过 PC 的内部总线, 高速传输数字数据,并占用较少的 CPU 时间;实时显示高质量图像的显示模块;通信接口完成相机和 PC 之间的通信。采集卡还有一个 DSP 数字处理模块,可以进行高速图像预处理。3. 仿真系统开发3.1 开发平台选择随着科技力量的壮大现阶段的设计项目以及科学实验的都需要借助虚拟仪器, 来减少实验成本和准确性。虚拟仪器是软件将计算机硬件资源与仪器硬件有机的融合为一体实现对数据的显示、存储以及分析处理。其特点具有开放性、灵活,可与计算机技术保持同步发展。本文开发的实验平台需要完成与 MATLAB 交互以及可以利用 SolidWorks 三维图完成三维运动仿真。经选择比较后,本文选用 Labview 仿真平台。LabVIEW 软件是一种程序开发环境,由美国国家仪器公司研制开发,使用的是图形化编辑语言 G 编写程序,产生的程序是框图的形式,系统性能升级方便,通过网络下载升级程序既可,用户可定义仪器功能。其简洁的图形化开发环境以及高可靠性和时间确定性等优点得到了广泛的应用。图 3.1 为启动界面图 3.1 启动界面3.2 工业机械手模型的建立(1)在运用 Labview 建立仿真平台,需要将设计出来的机械手的零件图:大臂,底板,底座,关节 1,2,小臂,爪头,爪头座:然后在 SolidWorks 形式下的文件另存为.wrl 形式如图 3.2 转为图 3.3,并且储存在开发的控制平台之下。 图 3.2 机械臂 SolidWorks 版图 3.3 wrl 版(2)将 wrl 文件放入 labview 中仿真备用如图 3.4(3)从文件导入模型见图 3.5图 3.4 导入后图 3.5 导入摸型3.3 动作控制的实现(1)添加各个 3D 控件从属关系见下图 3.6.图 3.6 从属关系部件(2)添加各个 3D 控件位置关系关系,见下图 3.7。图 3.7 空间位置控件(3)确定关节的各种运动,见下图 3.8图 3.8 运动控件(4)添加角度控制控制旋钮,见下图 3.9图 3.9 角度数值控制按钮(5)或者将第四章的 MATLAB 程序计算的结果,直接连接利用 LabVIEWMathScript接口,完成对位置角度的确定。见下图 3.10(6)仿真系统实例,见图 3.11图 3.10图 3.11 labview 仿真图(7)链接好控制线路见图 3.12.图 3.12 总控制图(8)运动测试,见下图 3.13.图 60 度图 90 度图 270 度图 330 度图 3.13 运动测试图(9)机械手控制系统总纲,见下图 3.14机械手控制系统移动系统视觉系统夹取系统其它照明控制电源控制 图像采集处理电机控制器1伺服驱动器电机控制器2电机控制器3图 3.14 机械手控制系统4. 视觉识别技术的开发4.1 视觉识别技术理论研究本文选用 LabVIEW 作为核心的开发软件进行三维运动的仿真,同时利用 Matlab 强大的运算能力完成复杂的运算和图像处理。为验证机器人运动学、轨迹规划算法的正确性,首先解决图像处理,通常的原图像受现场环境的随机干扰,需要对图像进行二值化、滤波处理、提取边缘等图像处理。预处理后的图像是为了便于计算机对图像的分析和处理。流程图见下图 4.1图 4.1 流程图1)二值化:图像的像素由 0(白)255(黑)组成,将图像上的像素点的值设置为 0 或 255,黑白化后图像减少不必要的干扰数据,使图像呈现出明显的黑白效果,凸显出目标物的形状。原图与处理结果见下图 26-27图 4.2 原图图 4.3 二值化图(2)滤波平滑: 能够抑制图像中的噪声或失真,抽出对象的特征,有效的克服波动干扰,当参数变量变化时将不适用。(3)边缘提取: 基于边缘灰度变分析,过滤掉不需要的信息,优化图像信息, 简化处理工作。缺点是图像上提取的边缘易被破坏理想的目标图像特征。而每一种传统检测算子在特定的环境下都有其独特的优点,因为摄像机拍摄的图像为黑白, 不需要灰度处理,但检侧算子的微分计算处理易受噪声等外界因素影响。图像像素会有突变,提取边缘与实际边界不等同。,三维图像到二维图像可能会丢失部分重要信息。常用方法处理结果见图 4.4,方法对比图见表 4.1 所示。图 4.4 各种检测算法对比表 4.1 各种边缘检测算法对比表算子特点适用范围Robert定位精度高,对噪声敏感低噪声Prewitt采用均值滤波,边缘较宽弧度渐变,低噪声Sobel加权滤波,边缘较宽灰度渐变,低噪声LOG各向同性,线性,位移不变屋顶型边缘检测Canny小波边缘检测高定位精度,低误判断高定位精度,低误判断高噪声图像高噪声图像(4) 矩形现实标定中心点定位:图像的矩是通过一定的公式计算出来的,一个矩除以其零阶矩称为中心矩。利用工具箱中的一个高级函数 iblobs(Center)求最小外接矩形方法,可以得到外接矩形在原坐标系下四个坐标点 P0 ,?P1,?P2 ,?P3 如图 4.5 所示。类比质心法,由公式 1 可求得工件质心 Center(X, Y) 。其中,n 表示坐标总数,x 表示第 i 个坐标点在 x 轴上的值,p 表示第 i 个坐标点在 y 轴上的值。n Pi x X= i=0nn(4.1) Pi y X= i=0n图 4.5 原图标记(5)MATLAB 程序求解并且标定矩形,见图 4.6图 4.6 最小外接矩形首先介绍图像矩概念,图像矩是一个内涵丰富且可减少计算量的图像特征类, 用它可以描述图像区域的大小,形状,和位置。图像 I 的矩是一个标量。mpq=(u,v)Iu pvq Iu, v(4.2)m10其中,(p+q)是矩的阶数如果把一个函数图像看成一个质量分布体,则可以给图像矩一个物理解释。假想图像区域是一片金属箔制作,其每一个元素都具有单位面积和单位质量。区域的总质量是质量中心或区域形心是uc =m10 m, vc= m01m0000其中m01 和m10 是一阶矩。利用上文处理后的图像,结合本小节理论介绍,编写 MATLAB 程序如下:Clear;clc filename,pathname=uigetfile(*.jpg;*bmp;*gif;*png,5.png); I = imread(pathname,filename);I=rgb2gray(I); I(I200)=255; I(I=255)=0;figure(1); subplot(121);imshow(I);title(原图)r c=find(I=255);rectx,recty,area,perimeter = minboundrect(c,r,a); % a是按面积算的最小矩形, 如果按边长用psubplot(122) imshow(I);hold on; line(rectx,recty);title(二值化后画最小外接矩形)(5)结合本文研究的具体内容,首先将获取的图像进行二值化处理,其次用滤波平滑过滤掉图中噪点,再选择合适的算子提取出图像边缘,最后通过图像矩找出图像中心点完成定位。对得到的数据进一步处理加工获取符合实际生产需要的工件位置矢量信息。4.2 位置坐标系的建立抓取系统的设计以及任务的实现离不开位置的确定和坐标系的建立。其中坐标系中的位置和方向总称为位姿,图形上表示为一组坐标轴。位姿表示一个非常有用的属性是其代数运算能力。本文采用文献3方式建立相机坐标系、图像坐标系、现实坐标系这三个坐标系且位置关系如图 32 所示。我们的最终目的是要实现图像坐标系和世界坐标系之间的转换,将目标在图像坐标系中的位置,转换为目标在世界坐标系中的位置,见图 4.7图 4.7 坐标系建立为实现机器人的抓取操作,需要将图像的像素坐标与物理坐标进行转化。两个坐标轴 X 轴、Y 轴分别与 U 轴、V 轴平行,图像中的任一像素点在图像坐标系和物理坐标系下的变换关系方程如公式(4-4所示u =x + u dx0 y(4.5)v =+ v0 dy 10u u dx0 xv = 01v y(4.6) dy0 1 001 1 本文研究建立的机器人的坐标系,分为以下四种: 1 机械手坐标系以机械手为参考的坐标系,也称机器人位姿坐标系,用来描述机器人抓手的位姿。2.机座坐标系:以机座为参考的坐标系3.杆件坐标系;以指定杆件为参考的坐标系,如图 4.8.图 4.8 杆 件 坐 标 系 4. 实际坐标系:以实际工作环境为参考的坐标系,整个系统的绝对坐标系。 除了各个坐标系的表示方法,还需要有坐标系中各个分量的表示。本文研究平台工业机器人的直角坐标系 P(x, y, z, a, b, c, d)的各个分量的表示如下: x: X 轴距离(P 点 X 轴分量);y: Y 轴距离(P 点 Y 轴分量);z: Z 轴距离(P 点 Z 轴分量);4.3 基于 Matlab 的开发技术根据 D-H 参数法 确定六自由度机械臂的 运动学方程,结合平面几何法和欧拉角变换法将机械臂的逆运动学求解问题分为两部分,一通过平面几何法确定机械臂腕部点的坐标与前三个关节角的关系,二通过欧拉角变换法确定机械臂末端姿态与后三个关节角的关系,根据逆运动解的选取原则从八组解中选取最优解;利用MATLAB 中的 Robotics 建立机械臂的正运动学模型,通过多组位姿下的正逆运动解对比验证逆运动学求解算法的准确性;常用逆运动算法比较见表 4.2表 4.2 逆运动学算法对比NO算法计算速度解的数量实时性精确性对机械结构的要求编程角度1几何法快多解差精确满足Piper 准则难2代数法快多解差精确满足Piper 准则难3雅可比迭代法较快唯一解好有误差无容易其中实现上述内容的 Matlab 程序如下:function p = axis6_fkine3(theta0,theta1,theta2,theta3,theta4,theta5,x,y,z)%T1t1 = cosd(theta0) -sind(theta0) 0 0;sind(theta0) cosd(theta0) 0 0; 0 0 1 0; 0 0 01 ;%T2t2 = 0 0 1 0; -sind(theta1) -cosd(theta1) 0 0; cosd(theta1) -sind(theta1) 0 0.178;0 00 1 ; %T3t3 = cosd(theta2) -sind(theta2) 0 0.205; sind(theta2) cosd(theta2) 0 0; 0 0 1 0; 0 00 1 ; %T4t4 = 0, 0, 1, 0.105; -cosd(theta3)sind(theta3) 0 0.000; -sind(theta3) -cosd(theta3)0 0; 0 0 0 1 ;%T5t5 = sind(theta4)cosd(theta4) 0 0; 0 0 1 0; cosd(theta4) -sind(theta4) 0 0.105; 00 0 1;%T6t6 = 0 0 1 0.1315;cosd(theta5)-sind(theta5) 0 0; sind(theta5)cosd(theta5) 00; 0 0 0 1;temp = t1*t2*t3*t4*t5*t6;P1 = 0 0 0;%关节 1 位置P2 = 0 0 0.178;%关节 2 位置P3 = t1*t2*0.205;0;0;1;%关节 3 位置P4 = t1*t2*t3*0.105;0.00;0;1;%关节 4 位置P5 = t1*t2*t3*t4*0;0;0.105;1;%关节 5 位置P6 = t1*t2*t3*t4*t5*0.1315;0;0;1;%关节 6 位置P7 = t1*t2*t3*t4*t5*t6*0;0;0;1;%关节 7 夹具位置plot3(P1(1) P2(1),P1(2) P2(2),P1(3) P2(3),b,LineWidth,3); axis(-0.8 0.8 -0.8 0.8 0 0.8);hold on;plot3(P2(1) P3(1),P2(2) P3(2),P2(3) P3(3),b,LineWidth,3);plot3(P3(1) P4(1),P3(2) P4(2),P3(3) P4(3),b,LineWidth,3);plot3(P4(1) P5(1),P4(2) P5(2),P4(3) P5(3),b,LineWidth,3);plot3(P5(1) P6(1),P5(2) P6(2),P5(3) P6(3),b,LineWidth,3);plot3(P6(1) P7(1),P6(2) P7(2),P6(3) P7(3),b,LineWidth,3);plot3(P1(1),P1(2),P1(3),r+,markersize,20);plot3(P2(1),P2(2),P2(3),r+,markersize,20);plot3(P3(1),P3(2),P3(3),r+,markersize,20);plot3(P4(1),P4(2),P4(3),r+,markersize,20);plot3(P5(1),P5(2),P5(3),r+,markersize,20);plot3(P6(1),P6(2),P6(3),r+,markersize,20);plot3(P7(1),P7(2),P7(3),r.,markersize,20);plot3(0 0.6,0 0,0 0,-b);plot3(0 0,0 0.6,0 0,-r);plot3(0 0,0 0,0 0.6,-g);plot3(P6(1) P6(1)+0.2*temp(1,1),P6(2) P6(2)+0.2*temp(2,1),P6(3)P6(3)+0.2*temp(3,1),-b,LineWidth,2);plot3(P6(1) P6(1)+0.2*temp(1,2),P6(2) P6(2)+0.2*temp(2,2),P6(3)P6(3)+0.2*temp(3,2),-r,LineWidth,2);plot3(P6(1) P6(1)+0.2*temp(1,3),P6(2) P6(2)+0.2*temp(2,3),P6(3)P6(3)+0.2*temp(3,3),-g,LineWidth,2); Pm = t1*0;-0.15;0;1;plot3(P1(1) Pm(1),P1(2) Pm(2),P1(3) Pm(3),k,LineWidth,3);hold off; grid on;运行结果图见图 33.图 4.8 运行结果图求得各关节旋转弧度为:-0.641383877391340-0.1876926119532570.743907390231213.424233567703187-0.687906911880818-0.288653461910877-0.665930371370357-0.3425890866490370.339721654312831 -0.9388560392014470.05602263155122210.203233903312256基于视觉的工业机械手定位抓取系统虚拟实验开发5. 结论在了解工业机械手和定位很工业不系统结构的基础上,对工业机械手进行了系统设计,主要由三部分组成:机械结构、传感系统和控制系统。在机械结构设计中,应用 SolidWorks 软件,建立本次设计的研究对象,工业机械手三维模型。该机械手主要由三个部分组成,有六个自由度,能够完成抓取任务。设计的抓取系统机械结构为串联式。在选取仿真的工具过程中经比较分析,选用了 Labview 软件进行虚拟实验开发平台。利用该软件的 3D 控件仿真功能,将已建好的工业机械手导入该实验平台中。又利用其中 3D 控件组功能,开发了使工业机械手各关节运动的仿真功能,进行了虚拟实验开发。视觉定位对于工业机械手的任务具有重要的作用,本设计对工业机械零件定位抓取系统进行了研究,首先建立了机械手坐标系,机座坐标系,杆件坐标系, 实际坐标系,再用 Matlab 对位姿进行了数学分析, 求的各个关节转动角度。本次毕业设计建立的工业机械手定位虚拟实验平台,可用于对工业机械手的运动情况进行模拟仿真,了解其工作空间和自由度等,有助于较全面的了解工业机械手整体系统。参考文献1 李传朋.基于机器视觉和深度学习的目标识别与抓取定位研究D.中北大学, 2017.2 卢冠男.基于机器视觉的工业机器人抓取系统的研究D. 合肥工业大学,2017.3 廖毅洲.视觉引导工业机器人定位抓取系统设计 J.电子世界, 2017,No.511 77-78+88.4 夏菠. 基于双目视觉的动态目标定位与抓取研究 D. 西南科技大学, 2016.5 刘念. 基于视觉机器人的目标定位技术研究 D. 华南农业大学, 2016.6 忽正熙. 基于模式识别与机器视觉工件的识别及分拣 D. 昆明理工大学, 2016.7 周衍超. 基于视觉引导的机器人智能抓取技术研究 D. 广东工业大学, 2015.8 翟敬梅, 董鹏飞, 张铁.基于视觉引导的工业机器人定位抓取系统设计 J. 机械设计与研究, 2014,30(153), 05 53-57.9 夏群峰,彭勇刚.基于视觉的机器人抓取系统应用研究综述 J.机电工程, 2014,31(232), 06 25-29+38.10 许凡. 视觉引导的抓取机器人控制技术的研究与开发 D. 江南大学, 2014.11 周中伟. 机器人智能抓取的视觉引导技术研究 D. 江西理工大学, 2014.12 杨扬. 基于机器视觉的服务机器人智能抓取研究 D. 上海交通大学, 2014.13 黄浩乾. 采摘机械手的设计及其控制研究 D. 南京农业大学, 2010.14 邹月伟. 基于机器视觉的目标识别及其路径优化的研究 D. 西安理工大学, 2009.15 王红涛.基于视觉的工业机器人目标识别定位方法的研究 D.西安理工大学, 2007.16 党薛梦霞, 刘士荣, 王坚.基于机器视觉的动态多目标识别J. 上海交通大学学报, 2017, 51(6):727-733.17 Peter Findlay. Intelligent System for Automated Components Recognition and HandlingD.Johannesburg: Mechanical and Manufacturing Engineering Department, Rand Afrikaans University,2002.18 Hager G D, HutchinsonS,Corke P I. A tutorial on visual servo controlJ.IEEE Transaction on Robotics and Automation,2007,12 (5):651-670.19 Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing C.San Francisco: IEEE International Conference on Robotics and Automation,2000.附录 1:外文翻译摘要本文介绍了机器人视觉伺服控制的入门教程,由于该课题涉及许多学科,我们的目标仅限于提供一个基本的概念框架工作。首先,我们从机器人学和计算机视觉的前提条件,包括坐标变换,速度表示,以及图像形成过程的几何方面的描述进行简要回顾。然后,我们提出了视觉伺服控制系统的分类。然后详细讨论了基于位置和基于图像的系统的两大类。由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征,所以我们还包括基于特征和基于相关性的跟踪方法的概述。我们结束了教程与一些服务的当前方向的研究领域的视觉伺服控制当今绝大多数增长的机器人人口都在工厂里工作,在那里工厂可以制造出适合机器人的环境。在工作环境和物体放置不能精确控制的应用中,机器人的影响要小得多。这种局限性很大程度上是由于现代商业机器人系统固有的感觉能力不足。人们早已认识到,传感器集成是提高机器人的通用性和应用领域的基础,但迄今为止,这还没有证明在制造业中大量的机器人应用是有效的。机器人在日常生活中的“前沿”为这项研究提供了新的动力。与制造业的应用不同,重新设计“我们的世界”并不适合于机器人。视觉是一种有用的机器人传感器,因为它模仿人类的视觉,并允许对环境进行非接触测量。自从 Shirai 和伊努埃(1)的早期工作(谁描述了如何使用视觉反馈回路来校正机器人的位置以提高任务精度),大量的 EORT 一直致力于机器人的视觉控制。机器人控制器完全集成的视觉系统现在可以从多个供应商获得。通常,视觉感知和操作以开环的方式组合,“看”然后“移动”。所得到的操作的精度直接取决于视觉传感器和机器人末端 Ecter 的精度。增加这些子系统的精度的一个替代方法是使用视觉反馈控制回路,这将增加系统的整体精度,这是大多数应用中的一个主要问题。极端地,机器视觉可以为机器人端部控制器提供闭环位置控制。这被称为视觉伺服。这个词似乎已经被 RHT 和 Park(2)在 1979 中介绍了,以区别他们的方法与先前的“块世界”实验,其中系统在拍照和移动之间交替。在引入这个术
收藏