基于视觉的工业机械手定位抓取系统虚拟实验开发
基于视觉的工业机械手定位抓取系统虚拟实验开发,基于,视觉,工业,机械手,定位,抓取,系统,虚拟,实验,试验,开发
摘要工业机器人是面向工业领域的,集多学科先进技术于一体的机电一体化自动化装备。工业机器人的设计与制造是一个非常复杂的过程,涉及的技术和领域很多,主要包括系统化、感知技术、识别处理能力、传动技术等。本文首先介绍国内外工业机器人的发展过程、现状及趋势,简单介绍机器人仿真系统的应用。介绍了六自由度关节式机器人组件和结构类型,建立了机器人结构模型,给出设计方案,以及机械结构三维设计。其次研究六自由度关节式机器人仿真系统的开发,选择较优的仿真开发平台-Labview,并建立工业机械手模型,完成仿真动作,并举例实现这一研究。 再者完成视觉技术的开发,建立目标物的位姿坐标系,在 LabVIEW 环境下搭建模拟仿真机械手定位抓取平台, 并结合 LabVIEW 环境中 mathscript 添加了图像处理,边缘检测,矩形标定法以及几何计算等 MATLAB 算法程序,对于规则三维物体,根据识别出的目标物的形状、尺寸和位置信息;搭建工作台需要一款工业相机及目标物组成的实验平台。对该系统建立坐标系,进行摄像标定、目标物形状尺寸和位姿识别。最后利用matlab 工具箱求解雅克逆矩阵解,求得各个关节的运动角度完成抓取过程。本文研究成果为工业自动化中应用 视觉引导机器人识别抓 取三维物体提供了实践意义的借鉴。关键词: 位置标定;图像处理; 视觉识别;Labview 仿真开发IABSTRACTIndustrial robots are mechanical and electrical integration automation equipment that is oriented to the industrial field and incorporates multidisciplinary and advanced technologies. The design and manufacture of industrial robots is a very complex process involving many technologies and areas, including systematization, sensing technology, identification processing capabilities, and transmission technologies.This article first introduces the development process, status and trends of industrial robots at home and abroad, and briefly introduces the application of robot simulation systems. The six-degree-of-freedom articulated robot components and structure types are introduced. The robot structure model is established, the design scheme is given, and the three-dimensional design of the mechanical structure is presented. Secondly, the development of the six-degree-of-freedom articulated robot simulation system was studied. Labview, the best simulation development platform, was selected. The industrial manipulator model was established, the simulation was completed, and an example was implemented. In addition, the development of vision technology was completed, the coordinate system of the objects pose was established, and a simulation robots positioning and grabbing platform was set up in the LabVIEW environment. In addition, image processing, edge detection, rectangular calibration method, and geometric calculation were added to mathscript in the LabVIEW environment. Such as MATLAB algorithm program, for the regularthree-dimensional objects, according to the shape, size and position information of the identified target object; to build a work table requires an experimental platform composed of an industrial camera and a target object. A coordinate system is established for the system to perform camera calibration, object shape size and pose recognition. Finally, using the Matlab toolbox to solve Jacos inverse matrix solution, the motion angle of each joint is completed. The research results of this paper provide a practical reference for the application of vision guided robots in industrial automation to capture three-dimensional objects.Keywords: 3D simulation; position calibration; image processing; industrial robotII目录摘要IABSTRACTII1. 绪论11.1 概述11.2 发展前景及方向11.3 机器人的视觉引导控制31.4 本文设计内容32. 2 抓取机器人设计12.1 控制系统构成22.2 机械结构三维设计32.3 定位抓取结构设计32.4 机械手视觉抓取系统原理42.5 基于视觉抓取硬件选型53. 3 仿真系统开发93.1 开发平台选择93.2 工业机械手模型的建立93.3 动作控制的实现104. 4 视觉识别技术的开发144.1 视觉识别技术理论研究144.2 位置坐标系的建立184.3 基于 Matlab 的开发技术205.5 结论23参考文献24致谢42I基于视觉的机械手定位抓取研究虚拟实验开发1. 绪论1.1 概述机械手是一种模拟人手操作的自动机械。它可按固定程序抓取、搬运物件或操持工具完成某些特定操作。应用机械手可以代替人从事单调、重复或繁重的体力劳动,实现生产的机械化和自动化,代替人在有害环境下的手工操作,改善劳动条件,保证人身安全,因而广泛应用于机械制造、冶金、电子、轻工和原子能等部门。20 世纪 40 年代后期,美国在原子能实验中,首先采用机械手搬运放射性材料,人在安全间操纵机械手进行各种操作和实验。50 年代以后,机械手逐步推广到工业生产部门,用于在高温、污染严重的地方取放工件和装卸材料,也作为机床的辅助装置在自动机床、自动生产线和加工中心中应用,完成上下料或从刀库中取放刀具并按固定程序更换刀具等操作。机械手主要由手部和运动机构组成。手部是用来抓持工件(或工具)的部件, 根据被抓持物件的形状、尺寸、重量、材料和作业要求而有多种结构形式,如夹持型、托持型和吸附型等。运动机构,使手部完成各种转动(摆动)、移动或复合运动来实现规定的动作,改变被抓持物件的位置和姿势。运动机构的升降、伸缩、旋转等独立运动方式,称为机械手的自由度。为了抓取空间中任意位置和方位的物体,需有 6 个自由度 。自由度是机械手设计的关键参数 。自由 度越多, 机械手的灵活性越大,通用性越广,其结构也越复杂。一般专用机械手有 23 个自由度。机械手的种类,按驱动方式可分为液压式、气动式、电动式、机械式机械手; 按适用范围可分为专用机械手和通用机械手两种;按运动轨迹控制方式可分为点位控制和连续轨迹控制机械手等。机械手通常用作机床或其他机器的附加装置,如在自动机床或自动生产线上装卸和传递工件,在加工中心中更换刀具等,一般没有独立的控制装置。有些操作装置需要由人直接操纵,如用于原子能部门操持危险物品的主从式操作手也常称为机械手。1.2 发展前景及方向工业机器人已广泛应用于汽车及汽车零部件制造业、机械加工行业、电子电气行业、橡胶及塑料工业、食品工业、木材与家具制造业等领域中;并开始扩大5到国防军事、医疗卫生、生活服务等领域,如无人侦察机、警备机器人、医疗机器人、家政服务机器人等均有应用实例,当前我国工业机器人产业已初具规模。其主要发展方向:1 重复高精度精度是指机器人、机械手到达指定点的精确程度, 它与驱动器的分辨率以及反馈装置有关。重复精度是指如果动作重复多次, 机械手到达同样位置的精确程度。重复精度比精度更重要, 如果一个机器人定位不够精确, 通常会显示一个固定的误差, 这个误差是可以预测的, 因此可以通过编程予以校正。重复精度限定的是一个随机误差的范围, 它通过一定次数地重复运行机器人来测定。随着微电子技术和现代控制技术的发展,机械手的重复精度将越来越高, 它的应用领域也将更广阔, 如核工业和军事工业等。2 模块化有的公司把带有系列导向驱动装置的机械手称为简单的传输技术, 而把模块化拼装的机械手称为现代传输技术。模块化拼装的机械手比组合导向驱动装置更具灵活的安装体系。它集成电接口和带电缆及油管的导向系统装置, 使机械手运动自如。模块化机械手使同一机械手可能由于应用不同的模块而具有不同的功能, 扩大了机械手的应用范围, 是机械手的一个重要的发展方向。3 机电一体化由“可编程序控制器- 传感器- 液压元件”组成的典型的控制系统仍然是自动化技术的重要方面;发展与电子技术相结合的自适应控制液压元件, 使液压技术从“开关控制”进入到高精度的“反馈控制”; 省配线的复合集成系统, 不仅减少配线、配管和元件, 而且拆装简单, 大大提高了系统的可靠性。而今, 电磁阀的线圈功率越来越小, 而 PLC 的输出功率在增大, 由 PLC 直接控制线圈变得越来越可能。随着科学与技术的发展, 机械手的应用领域也不断扩大.目前, 机械手不仅应用于传统制造业如采矿,冶金,石油,化学,船舶等领域,同时也已开始扩大到核能, 航空,航天,医药,生化等高科技领域以及家庭清洁,医疗康复等服务业领域中.如,水下机器人,抛光机器人,打毛刺机器人,擦玻璃机器人,高压线作业机器人,服装裁剪机器人,制衣机器人,管道机器人等特种机器人以及扫雷机器人,作战机器人,侦察机器人,哨兵机器人,排雷机器人,布雷机器人等军用机器人都是机械手应用的典型。机械手广泛应用于各行各业.而且,随着人类生活水平的提高及文化生活的日益丰富多彩,未来各种专业服务机器人和家庭用消费机器人将不断贴近人类生活, 其市场将繁荣兴旺1.3 机器人的视觉引导控制工业机器人产品,由于其成熟的设计理论,各种机器人的优劣就取决于各自的硬件控制。而相关的控制器在目前的技术理论条件下已经能够提供各种安全有保证的控制策略,比如直线插补、关节插补、圆弧插补等运动,这类运动可以使我们更好的规划机器人的动作轨迹,使其在运动过程中更加美观。只要给定执行件需要的运动方位及其相关参数,如速度,时间等信息,控制器就能够相应的控制机器人做出我们预期的目标动作。因而在设计机器人的动作抓取时,研究者不用担心如何改进和调整这些成熟的运动控制技术。主要的研究难点集中于以下三个方面:(1) 如何从摄像机捕获的图像中分辨出我们需要获得的被检测物的三维信息;(2) 如何快速的确定被抓取物与机械手之间的相互位置以及被抓取物的位姿状态;(3) 如何规划机械手手爪的抓取动作,保证其稳定性和可靠性。简单地讲,第一点就是需要设计如何让机器人知道将要抓取的是何种形状的物体,第二点就是需要让机器人知道将要抓取的物体在何种位置,第三点就是控制机器人如何稳定地抓取物件。计算机视觉具有可以处理大量信息,可以实现无损检测,检测范围广,精度高等特点,随着近年来其在工业机器人领域的广泛应用, 较大地推动了机械生产的自动化、智能化。目前的检测手段有很多种,机器视觉以其接近人类观察特性的特点,被研究者广为青睐,尤其是在识别、检测领域更是发展迅速。1.4 本文设计内容首先,了解国内外工业机器人的发展过程、现状及趋势,简单介绍机器人仿真系统的应用。了解六自由度关节式机器人组件和结构类型,建立了机器人结构模型,给出设计方案,以及机械结构三维设计。并研究六自由度关节式机器人仿真系统开发, 选择较优的仿真开发平台,建立工业机械手模型,完成仿真动作,并举例实现这一研究。然后完成视觉技术的开发,建立目标物的位姿坐标系,利用 MATLAB 完成对图像的采集和特征提取处理。 最后完成对本次论文内容的总结(1) 机器人设计u 完成机械手结构设计,了解其工作原理,画出 SolidWorks 图。u 完成机械手控制系统设计,利用 Labview 完成仿真。(2) 工业机器人相关理论研究u 完成视觉特征提取模型u 控制系统流程图u 控制系统硬件选择(3) 软件系统的开发:u 控制系统设计及虚拟仿真u Matlab 对视觉的预处理u MATLAB 程序编写基于视觉的工业机械手定位抓取系统虚拟实验开发2. 抓取机器人设计本文设计的工业器人应用于抓取工业零件来增加效率,机器人在工作时需要满足在其活动范围内能达到任意的位姿,通过收集各种类型抓取机器人的资料并分享比较的其优缺点后,确定选择六自由度关节型机器人,其机械结构如图 2.1 所机器人具有六个自由度。图 2.1 六自由度机器人其中自由度分别是腰关节的移动和转动、大臂的摆动、小臂的摆动和腕部的转动,都为关节连接,采用六自由度串联关节式结构,其结构如图 2.2 所示。机器人的六个关节均为转动关节,第二、三、五关节作俯仰运动,第一、四、六关节作回转运动。机器人后三个关节轴线相交与一点,为腕关节的原点,前 3 个关节可以确定腕关节原点的位置,后 3 个关节可以确定末端执行器的位姿。第 6 关节预留适配接口,用来安装不同的工具或接头(如手爪)以适应不同的工业需求和任务。图 2.2 六自由度机器人机构432.1 控制系统构成完整的机器人结构由三大部分和六个子系统组成如 2.3 所示。三大部分分别是机械、传感和控制部分。六个子系统是驱动、机械结构、感受、机器人环境交换、人机交换和控制系统。驱动系统,主要功能要机器人运作起来,各需各个关节即每个运动自由度安置传动装置。图 2.3 机器人构成控制系统的任务是根据机器人的作业指令程序以及传感器反馈回来的信号支配机器人的执行机构去完成规定的运动和功能。其组成为 CPU、示教盒:、操作面板、硬盘和软盘存储存 、数字和模拟量输入输出、打印机接口 、传感器接口、轴控制器 、辅助设备。机器人控制系统多采用分布式结构,即上一级主控计算机负责整个系统管理以及坐标变换和轨迹插补运算等;下一级由许多微处理器组成,每一个微处理器控制一个关节运动,它们并行地完成控制任务。因而能提高整个控制系统的工作速度和处理能力。分布式控制系统具有开放性特点,可以根据需要增加更多的处理器,以满足传感器处理和通信的需要。如图 2.4 所示。图 2.4 总控制流程图2.2 机械结构三维设计机器人型号选择是实现机器人完成任务准确定位的重要因素之一,由实际的工业生产效况中抓取零件的几何尺寸和物理化学性能以及抓取的速率和效果来选取较优的机械臂和机械手。其中按机器人结构形式一般工业机器人为 6 个自由度前三个称为手臂机构,后三个称为手腕机构。根据手臂机构的运动不同形式的组合得到不同的机器人机构形式。可分为:直角坐标式(PPP),圆柱坐标式(RPP),球坐标式(RRP)。根据实际零件大小以及抓取条件。本系统使用的是六自由度关节机器人如SolidWorks 图 2.5 所示。图 2.5 SolidWorks 三维图其中机械臂的运动性能如下:S 旋转轴 动作范围 -90到 +90最大速度 185/秒L 下臂轴 动作范围 +50到 -100最大速度 185/秒U 上臂轴 动作范围 +5到 +163最大速度 185/秒R 手腕旋转轴动作范围 -360到 +360最大速度 360/秒B 手腕摆动轴动作范围 -360到 +360最大速度 410/秒T 手腕回转轴动作范围 -360到 +360最大速度 500/秒2.3 定位抓取结构设计执行机构的设计。执行机构是机器人完成工作任务的机械实体。机械手臂:由杆件机构和关节机构组成空间开链机构,又可以分为机座腰部臂部肩和肘腕部。机器人末端执行器的种类有很多, 以适应机器人的不同作业及操作要求。 在 设计末端执行器时,应注意如下几点:1) 机械爪是根据机器人作业要求来设计的。新的机械爪的出现可以增加一种机器人新的应用场所,可以拾取不同种目标物。2) 要求机械爪重量轻结构紧凑,满足工作强度需求。3) 要求在夹持工件时,应有一定的形状约束,保证工件在夹紧过程中停止和加载且不改变姿态。当松开工件时,应完全松开。机械爪可分为圆弧开口式 圆弧平行开闭式和直线平行开闭式。本设计选用弧形开闭型。这种类型是由传动机构驱动的。指尖的运动轨迹是圆弧,两只手是圆弧围绕分支点移动。这种夹持器对工件夹持部的尺寸有严格的要求,否则会使工件处于无序状态。其结构如图 2.6 所示。图 2.1 双齿轮爪2.4 机械手视觉抓取系统原理机械手视觉抓取系统是指利用动态视频每一帧获取图像信息,在将获取的每一帧图像经过系统的处理,提取有用的特征,同时完成对这些特征信息的分析处理, 并根据最终的结果来控制外界机械动作。本文设计的机器视觉的工作原理为:首先通过照明系统将目标物成像到摄像机上;然后将像机将图像传感器接收到的光学图像转化为计算机能够处理的电信号,并整合给图像处理系统;接着系统对这些电信号进行处理得到特征信息;最后将得到的电信号输出给计算机。具体见图 2.7。图 2.7 总流程图由机械手视觉抓取系统的工作原理知,典型的基于视觉的机器人应用系统如下图 2.8 所示:1 光源 2 TS、3 像机、4 HDMI、5 处理系统、6 控制单元、7 执行机构、8 光电传感器(触发图像采集器),9 物件。其中图 2.8 为总流程框架。图 2.8 机械手系统原理图2.5 基于视觉抓取硬件选型在经典的基于视觉的机械手抓取系统中,关键技术包括光源照明技术,相机,TS,图像处理算法和执行系统。光源照明技术在 机器视觉产品中,优良的照明方案是整个系统完成既定任务的关键因素。优良的光源和照明解决方案都具有以下特点: 尽可能地突出物体的特征。(1)照明方案影响机器视觉系统采集的输入数据的质量。由于目前没有通用 的机器视觉照明设备,所以对每个应用都有不同的照明方案。光源可分为可见光和不可见光,常见的几种可见光源有白炽灯、水银灯和钠光灯等。从表 1 可以看出, LED:良好的显色性,光谱范围宽,稳定时间长,光强度高。另外,高频荧光灯具 有高发光强度和良好的性价比,并且经常用于某些特殊场合。见表 2.1 光源特点比较。表 2.1光源对比种类颜色寿命/h亮度特点卤素灯白色/浅50007000很亮发热多黄荧光灯白色/浅绿LED灯红 / 黄 /绿,HID灯白色/浅蓝50007000亮便宜60000100000较亮发热少30007000亮持续光2) 摄像机CCD 技术具有体积小、重量轻、寿命长且抗冲击、清晰度高等特点,在机器视觉中得到广泛应用。见图 2,9.图 2.9CCD 摄像机本文使用的是大华公司的 A5131CG75 工业相机,如图 2.2 所示,其性能参数, 如表 2.2 所示。表 2.2 CCD 工业相机参数性能指标参数芯片PYTHON 400像素数250万分辨率1280*1024帧率100帧/秒拉伸7/10颜色彩色供电方式直流6-24V尺寸30mm*30mm*30mm3) 光学镜头 本文选取 Pomeas 公司的特写变倍镜头,如图 2.10 所示,其参数如表 2.3 所示。图 2.10 特写变倍镜头表 2.3 镜头参数表性能指标参数靶面尺寸2/3焦距(mm)12接口C-接口光圈手动变焦手动尺寸33.5*28.24) 图像采集卡图像采集卡是把摄像头、VHS、DVD 机等模拟设备的信号导入的计算机内;电脑摄像头一般是 USB 接口,像素、线数、照度等参数达不到监控级别,所以采集卡与监控摄像头做监控;采集卡除了保存图像信号,主要还是不同的采集卡有不同的压缩算法,配合软件,可以在保持高分辨率的前提下,压缩数据料。使用图像采集卡的原因是由于图像信号数据量大,传输速度非常高,通用传输接口难以满足要求。其功能主要有:图像信号接 收和 A / D 转换模块主要放大和数字化图像信号主要是控制摄像头实现同步或实现异步复位拍照时等;总线接口主要通过 PC 的内部总线, 高速传输数字数据,并占用较少的 CPU 时间;实时显示高质量图像的显示模块;通信接口完成相机和 PC 之间的通信。采集卡还有一个 DSP 数字处理模块,可以进行高速图像预处理。3. 仿真系统开发3.1 开发平台选择随着科技力量的壮大现阶段的设计项目以及科学实验的都需要借助虚拟仪器, 来减少实验成本和准确性。虚拟仪器是软件将计算机硬件资源与仪器硬件有机的融合为一体实现对数据的显示、存储以及分析处理。其特点具有开放性、灵活,可与计算机技术保持同步发展。本文开发的实验平台需要完成与 MATLAB 交互以及可以利用 SolidWorks 三维图完成三维运动仿真。经选择比较后,本文选用 Labview 仿真平台。LabVIEW 软件是一种程序开发环境,由美国国家仪器公司研制开发,使用的是图形化编辑语言 G 编写程序,产生的程序是框图的形式,系统性能升级方便,通过网络下载升级程序既可,用户可定义仪器功能。其简洁的图形化开发环境以及高可靠性和时间确定性等优点得到了广泛的应用。图 3.1 为启动界面图 3.1 启动界面3.2 工业机械手模型的建立(1) 在运用 Labview 建立仿真平台,需要将设计出来的机械手的零件图:大臂,底板,底座,关节 1,2,小臂,爪头,爪头座:然后在 SolidWorks 形式下的文件另存为.wrl 形式如图 3.2 转为图 3.3,并且储存在开发的控制平台之下。 图 3.2 机械臂SolidWorks 版图 3.3 wrl 版(2) 将 wrl 文件放入 labview 中仿真备用如图 3.4(3) 从文件导入模型见图 3.5图 3.4 导入后图 3.5 导入摸型3.3 动作控制的实现(1) 添加各个 3D 控件从属关系见下图 3.6.图 3.6 从属关系部件(2) 添加各个 3D 控件位置关系关系,见下图 3.7。图 3.7 空间位置控件(3) 确定关节的各种运动,见下图 3.8图 3.8 运动控件(4) 添加角度控制控制旋钮,见下图 3.9图 3.9 角度数值控制按钮(5) 或者将第四章的 MATLAB 程序计算的结果,直接连接利用 LabVIEW MathScript接口,完成对位置角度的确定。见下图 3.10(6)仿真系统实例,见图 3.11图 3.10图 3.11 labview 仿真图(7) 链接好控制线路见图 3.12.图 3.12 总控制图(8) 运动测试,见下图 3.13.图 60 度图 90 度图 270 度图 330 度图 3.13 运动测试图(9) 机械手控制系统总纲,见下图 3.14机械手控制系统移动系统视觉系统夹取系统其它照明控制电源控制 图像采集处理电机控制器1伺服驱动器电机控制器2电机控制器3图 3.14 机械手控制系统4. 视觉识别技术的开发4.1 视觉识别技术理论研究本文选用 LabVIEW 作为核心的开发软件进行三维运动的仿真,同时利用 Matlab 强大的运算能力完成复杂的运算和图像处理。为验证机器人运动学、轨迹规划算法的正确性,首先解决图像处理,通常的原图像受现场环境的随机干扰,需要对图像进行二值化、滤波处理、提取边缘等图像处理。预处理后的图像是为了便于计算机对图像的分析和处理。流程图见下图 4.1图 4.1 流程图1)二值化:图像的像素由 0(白)255(黑)组成,将图像上的像素点的值设置为 0 或 255,黑白化后图像减少不必要的干扰数据,使图像呈现出明显的黑白效果,凸显出目标物的形状。原图与处理结果见下图 26-27图 4.2 原图图 4.3 二值化图(2) 滤波平滑: 能够抑制图像中的噪声或失真,抽出对象的特征,有效的克服波动干扰,当参数变量变化时将不适用。(3) 边缘提取: 基于边缘灰度变分析,过滤掉不需要的信息,优化图像信息, 简化处理工作。缺点是图像上提取的边缘易被破坏理想的目标图像特征。而每一种传统检测算子在特定的环境下都有其独特的优点,因为摄像机拍摄的图像为黑白, 不需要灰度处理,但检侧算子的微分计算处理易受噪声等外界因素影响。图像像素会有突变,提取边缘与实际边界不等同。,三维图像到二维图像可能会丢失部分重要信息。常用方法处理结果见图 4.4,方法对比图见表 4.1 所示。图 4.4 各种检测算法对比表 4.1 各种边缘检测算法对比表算子特点适用范围Robert定位精度高,对噪声敏感低噪声Prewitt采用均值滤波,边缘较宽弧度渐变,低噪声Sobel加权滤波,边缘较宽灰度渐变,低噪声LOG各向同性,线性,位移不变屋顶型边缘检测Canny小波边缘检测高定位精度,低误判断高定位精度,低误判断高噪声图像高噪声图像(4) 矩形现实标定中心点定位:图像的矩是通过一定的公式计算出来的,一个矩除以其零阶矩称为中心矩。利用工具箱中的一个高级函数 iblobs(Center)求最小外接矩形方法,可以得到外接矩形在原坐标系下四个坐标点 P0 ,?P1,?P2 ,?P3 如图 4.5 所示。类比质心法,由公式 1 可求得工件质心 Center(X, Y) 。其中,n 表示坐标总数,x 表示第 i 个坐标点在 x 轴上的值,p 表示第 i 个坐标点在 y 轴上的值。n Pi x X= i=0nn(4.1) Pi y X= i=0n图 4.5 原图标记(5)MATLAB 程序求解并且标定矩形,见图 4.6图 4.6 最小外接矩形首先介绍图像矩概念,图像矩是一个内涵丰富且可减少计算量的图像特征类, 用它可以描述图像区域的大小,形状,和位置。图像 I 的矩是一个标量。mpq=(u,v)Iu pvq Iu, v(4.2)m10其中,(p+q)是矩的阶数如果把一个函数图像看成一个质量分布体,则可以给图像矩一个物理解释。假想图像区域是一片金属箔制作,其每一个元素都具有单位面积和单位质量。区域的总质量是质量中心或区域形心是uc =m10 m, vc= m01m0000其中m01 和m10 是一阶矩。利用上文处理后的图像,结合本小节理论介绍,编写 MATLAB 程序如下:Clear;clc filename,pathname=uigetfile(*.jpg;*bmp;*gif;*png,5.png); I = imread(pathname,filename);I=rgb2gray(I); I(I200)=255; I(I=255)=0;figure(1); subplot(121);imshow(I); title(原图)r c=find(I=255);rectx,recty,area,perimeter = minboundrect(c,r,a); % a是按面积算的最小矩形, 如果按边长用psubplot(122) imshow(I);hold on; line(rectx,recty);title(二值化后画最小外接矩形)(5) 结合本文研究的具体内容,首先将获取的图像进行二值化处理,其次用滤波平滑过滤掉图中噪点,再选择合适的算子提取出图像边缘,最后通过图像矩找出图像中心点完成定位。对得到的数据进一步处理加工获取符合实际生产需要的工件位置矢量信息。4.2 位置坐标系的建立抓取系统的设计以及任务的实现离不开位置的确定和坐标系的建立。其中坐标系中的位置和方向总称为位姿,图形上表示为一组坐标轴。位姿表示一个非常有用的属性是其代数运算能力。本文采用文献3方式建立相机坐标系、图像坐标系、现实坐标系这三个坐标系且位置关系如图 32 所示。我们的最终目的是要实现图像坐标系和世界坐标系之间的转换,将目标在图像坐标系中的位置,转换为目标在世界坐标系中的位置,见图 4.7图 4.7 坐标系建立为实现机器人的抓取操作,需要将图像的像素坐标与物理坐标进行转化。两个坐标轴 X 轴、Y 轴分别与 U 轴、V 轴平行,图像中的任一像素点在图像坐标系和物理坐标系下的变换关系方程如公式(4-4所示u =x + u dx0 y(4.5)v =+ v0 dy 10u u dx0 xv = 01v y(4.6) dy0 1 001 1 本文研究建立的机器人的坐标系,分为以下四种:1 机械手坐标系以机械手为参考的坐标系,也称机器人位姿坐标系,用来描述机器人抓手的位姿。2. 机座坐标系:以机座为参考的坐标系3. 杆件坐标系;以指定杆件为参考的坐标系,如图 4.8.图 4.8 杆件坐标系4. 实际坐标系:以实际工作环境为参考的坐标系,整个系统的绝对坐标系。 除了各个坐标系的表示方法,还需要有坐标系中各个分量的表示。本文研究平台工业机器人的直角坐标系 P(x, y, z, a, b, c, d)的各个分量的表示如下: x: X 轴距离(P 点 X 轴分量);y: Y 轴距离(P 点 Y 轴分量);z: Z 轴距离(P 点 Z 轴分量);4.3 基于 Matlab 的开发技术根据 D-H 参数法 确定六自由度机械臂的 运动学方程,结合平面几何法和欧拉角变换法将机械臂的逆运动学求解问题分为两部分,一通过平面几何法确定机械臂腕部点的坐标与前三个关节角的关系,二通过欧拉角变换法确定机械臂末端姿态与后三个关节角的关系,根据逆运动解的选取原则从八组解中选取最优解;利用MATLAB 中的 Robotics 建立机械臂的正运动学模型,通过多组位姿下的正逆运动解对比验证逆运动学求解算法的准确性;常用逆运动算法比较见表 4.2表 4.2 逆运动学算法对比NO算法计算速度解的数量实时性精确性对机械结构的要求编程角度1几何法快多解差精确满足Piper 准则难2代数法快多解差精确满足Piper 准则难3雅可比迭代法较快唯一解好有误差无容易其中实现上述内容的 Matlab 程序如下:function p = axis6_fkine3(theta0,theta1,theta2,theta3,theta4,theta5,x,y,z)%T1t1 = cosd(theta0) -sind(theta0) 0 0;sind(theta0) cosd(theta0) 0 0; 0 0 1 0; 0 0 01 ;%T2t2 = 0 0 1 0; -sind(theta1) -cosd(theta1) 0 0; cosd(theta1) -sind(theta1) 0 0.178;0 00 1 ; %T3t3 = cosd(theta2) -sind(theta2) 0 0.205; sind(theta2) cosd(theta2) 0 0; 0 0 1 0; 0 00 1 ; %T4t4 = 0, 0, 1, 0.105; -cosd(theta3)sind(theta3) 0 0.000; -sind(theta3) -cosd(theta3)0 0; 0 0 0 1 ;%T5t5 = sind(theta4)cosd(theta4) 0 0; 0 0 1 0; cosd(theta4) -sind(theta4) 0 0.105; 00 0 1;%T6t6 = 0 0 1 0.1315;cosd(theta5)-sind(theta5) 0 0; sind(theta5)cosd(theta5) 00; 0 0 0 1;temp = t1*t2*t3*t4*t5*t6;P1 = 0 0 0;%关节 1 位置P2 = 0 0 0.178;%关节 2 位置P3 = t1*t2*0.205;0;0;1;%关节 3 位置P4 = t1*t2*t3*0.105;0.00;0;1;%关节 4 位置P5 = t1*t2*t3*t4*0;0;0.105;1;%关节 5 位置P6 = t1*t2*t3*t4*t5*0.1315;0;0;1;%关节 6 位置P7 = t1*t2*t3*t4*t5*t6*0;0;0;1;%关节 7 夹具位置plot3(P1(1) P2(1),P1(2) P2(2),P1(3) P2(3),b,LineWidth,3); axis(-0.8 0.8 -0.8 0.8 0 0.8);hold on;plot3(P2(1) P3(1),P2(2) P3(2),P2(3) P3(3),b,LineWidth,3);plot3(P3(1) P4(1),P3(2) P4(2),P3(3) P4(3),b,LineWidth,3);plot3(P4(1) P5(1),P4(2) P5(2),P4(3) P5(3),b,LineWidth,3);plot3(P5(1) P6(1),P5(2) P6(2),P5(3) P6(3),b,LineWidth,3);plot3(P6(1) P7(1),P6(2) P7(2),P6(3) P7(3),b,LineWidth,3);plot3(P1(1),P1(2),P1(3),r+,markersize,20);plot3(P2(1),P2(2),P2(3),r+,markersize,20);plot3(P3(1),P3(2),P3(3),r+,markersize,20);plot3(P4(1),P4(2),P4(3),r+,markersize,20);plot3(P5(1),P5(2),P5(3),r+,markersize,20);plot3(P6(1),P6(2),P6(3),r+,markersize,20);plot3(P7(1),P7(2),P7(3),r.,markersize,20);plot3(0 0.6,0 0,0 0,-b);plot3(0 0,0 0.6,0 0,-r);plot3(0 0,0 0,0 0.6,-g);plot3(P6(1) P6(1)+0.2*temp(1,1),P6(2) P6(2)+0.2*temp(2,1),P6(3)P6(3)+0.2*temp(3,1),-b,LineWidth,2);plot3(P6(1) P6(1)+0.2*temp(1,2),P6(2) P6(2)+0.2*temp(2,2),P6(3)P6(3)+0.2*temp(3,2),-r,LineWidth,2);plot3(P6(1) P6(1)+0.2*temp(1,3),P6(2) P6(2)+0.2*temp(2,3),P6(3)P6(3)+0.2*temp(3,3),-g,LineWidth,2); Pm = t1*0;-0.15;0;1;plot3(P1(1) Pm(1),P1(2) Pm(2),P1(3) Pm(3),k,LineWidth,3);hold off; grid on;运行结果图见图 33.图 4.8 运行结果图求得各关节旋转弧度为:-0.641383877391340-0.1876926119532570.743907390231213.424233567703187-0.687906911880818-0.288653461910877-0.665930371370357-0.3425890866490370.339721654312831 -0.9388560392014470.05602263155122210.203233903312256基于视觉的工业机械手定位抓取系统虚拟实验开发5. 结论在了解工业机械手和定位很工业不系统结构的基础上,对工业机械手进行了系统设计,主要由三部分组成:机械结构、传感系统和控制系统。在机械结构设计中,应用 SolidWorks 软件,建立本次设计的研究对象,工业机械手三维模型。该机械手主要由三个部分组成,有六个自由度,能够完成抓取任务。设计的抓取系统机械结构为串联式。在选取仿真的工具过程中经比较分析,选用了 Labview 软件进行虚拟实验开发平台。利用该软件的 3D 控件仿真功能,将已建好的工业机械手导入该实验平台中。又利用其中 3D 控件组功能,开发了使工业机械手各关节运动的仿真功能,进行了虚拟实验开发。视觉定位对于工业机械手的任务具有重要的作用,本设计对工业机械零件定位抓取系统进行了研究,首先建立了机械手坐标系,机座坐标系,杆件坐标系, 实际坐标系,再用 Matlab 对位姿进行了数学分析, 求的各个关节转动角度。本次毕业设计建立的工业机械手定位虚拟实验平台,可用于对工业机械手的运动情况进行模拟仿真,了解其工作空间和自由度等,有助于较全面的了解工业机械手整体系统。参考文献1 李传朋.基于机器视觉和深度学习的目标识别与抓取定位研究D.中北大学, 2017.2 卢冠男.基于机器视觉的工业机器人抓取系统的研究D. 合肥工业大学,2017.3 廖毅洲.视觉引导工业机器人定位抓取系统设计 J.电子世界, 2017,No.511 77-78+88.4 夏菠.基于双目视觉的动态目标定位与抓取研究 D.西南科技大学, 2016.5 刘念.基于视觉机器人的目标定位技术研究 D.华南农业大学, 2016.6 忽正熙.基于模式识别与机器视觉工件的识别及分拣 D.昆明理工大学, 2016.7 周衍超.基于视觉引导的机器人智能抓取技术研究 D.广东工业大学, 2015.8 翟敬梅, 董鹏飞, 张铁.基于视觉引导的工业机器人定位抓取系统设计 J. 机械设计与研究, 2014,30(153), 05 53-57.9 夏群峰,彭勇刚.基于视觉的机器人抓取系统应用研究综述 J.机电工程, 2014,31(232), 06 25-29+38.10 许凡.视觉引导的抓取机器人控制技术的研究与开发 D.江南大学, 2014.11 周中伟.机器人智能抓取的视觉引导技术研究 D.江西理工大学, 2014.12 杨扬. 基于机器视觉的服务机器人智能抓取研究 D.上海交通大学, 2014.13 黄浩乾. 采摘机械手的设计及其控制研究 D.南京农业大学, 2010.14 邹月伟. 基于机器视觉的目标识别及其路径优化的研究 D.西安理工大学, 2009.15 王红涛.基于视觉的工业机器人目标识别定位方法的研究 D.西安理工大学, 2007.16 党薛梦霞, 刘士荣, 王坚.基于机器视觉的动态多目标识别J. 上海交通大学学报, 2017, 51(6):727-733.17 Peter Findlay. Intelligent System for Automated Components Recognition and HandlingD.Johannesburg: Mechanical and Manufacturing Engineering Department, Rand Afrikaans University,2002.18 Hager G D, HutchinsonS,Corke P I. A tutorial on visual servo controlJ.IEEE Transaction on Robotics and Automation,2007,12 (5):651-670.19 Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing C.San Francisco: IEEE International Conference on Robotics and Automation,2000.附录 1:外文翻译摘要本文介绍了机器人视觉伺服控制的入门教程,由于该课题涉及许多学科,我们的目标仅限于提供一个基本的概念框架工作。首先,我们从机器人学和计算机视觉的前提条件,包括坐标变换,速度表示,以及图像形成过程的几何方面的描述进行简要回顾。然后,我们提出了视觉伺服控制系统的分类。然后详细讨论了基于位置和基于图像的系统的两大类。由于任何视觉伺服系统必须能够跟踪图像序列中的图像特征,所以我们还包括基于特征和基于相关性的跟踪方法的概述。我们结束了教程与一些服务的当前方向的研究领域的视觉伺服控制当今绝大多数增长的机器人人口都在工厂里工作,在那里工厂可以制造出适合机器人的环境。在工作环境和物体放置不能精确控制的应用中,机器人的影响要小得多。这种局限性很大程度上是由于现代商业机器人系统固有的感觉能力不足。人们早已认识到,传感器集成是提高机器人的通用性和应用领域的基础,但迄今为止,这还没有证明在制造业中大量的机器人应用是有效的。机器人在日常生活中的“前沿”为这项研究提供了新的动力。与制造业的应用不同,重新设计“我们的世界”并不适合于机器人。视觉是一种有用的机器人传感器,因为它模仿人类的视觉,并允许对环境进行非接触测量。自从 Shirai 和伊努埃(1)的早期工作(谁描述了如何使用视觉反馈回路来校正机器人的位置以提高任务精度),大量的 EORT 一直致力于机器人的视觉控制。机器人控制器 完全集成的视觉系统现在可以从多个供应商获得。通常,视觉感知和操作以开环的方式组合,“看”然后“移动”。所得到的操作的精度直接取决于视觉传感器和机器人末端 Ecter 的精度。增加这些子系统的精度的一个替代方法是使用视觉反馈控制回路,这将增加系统的整体精度,这是大多数应用中的一个主要问题。极端地,机器视觉可以为机器人端部控制器提供闭环位置控制。这被称为视觉伺服。这个词似乎已经被 RHT 和 Park(2)在 1979 中介绍了,以区别他们的方法与先前的“块世界”实验,其中系统在拍照和移动之间交替。在引入这个术语之前, 一般使用较少的视觉术语视觉反馈。为了这篇文章的目的,视觉伺服中的任务是使用视觉信息来控制机器人的末端 ECT 相对于目标
收藏