手写数字特征的提取和分析

《手写数字特征的提取和分析》由会员分享，可在线阅读，更多相关《手写数字特征的提取和分析（48页珍藏版）》请在装配图网上搜索。

1、 毕 业 设 计 (论 文) 题 目 手写数字特征提取与分析 专 业电子信息工程班 级 084班 姓 名 梁 杰 指导教师 周 扬 讲师 所在学院 信息学院 完成时间：2012年 5月40 / 48承 诺 书我谨此重承诺：本毕业设计论文是本人在指导教师指导下独立撰写完成的。凡涉及他人观点和材料，均依据著作规作了注释。如有抄袭或其它违反知识产权的情况，本人愿承受学校处分。 承诺人签名： 年 月 日手写数字特征提取与分析信息科技学院电子信息工程专业梁杰摘 要：目前，模式识别领域在日常生活中的应用已经越来越广泛，比方人脸、指纹识别，字符识别，车牌识别。所以，对数字识别进展学习与研究是非常有必要的。本

2、课题为数字字符识别模拟演示系统。主要是利用正态分布下的最小错误率Bayes方法和最小风险Bayes方法，来实现手写数字从0到9的识别。该系统首先是实现模拟手写数字；然后利用轮廓特征法将5*5的模板提取出样品的特征，采用模板可以使同一形状、不同大小的样品得到归一化的特征提取，所以有能力对同一形状、不同大小的样品视为同类；最后结合Bayes决策进展判别。使用最小错误率Bayes方法，在判别过程中能使错误率到达最小，即使错分类出现的可能性最小，而最小风险Bayes方法，在判别过程中可以使风险到达最小，减少危害大的错分类情况。本设计是利用Matlab实现的，实验证明，该系统对于模拟手写的数字根本上能正

3、确识别，但是对于手写不规的数字会存在错判的情况，这跟样品库的有限有关。关键词：模式识别；最小错误；最小风险；特征选择；模拟手写；Matlab实现Handwritten digital feature extraction and analysisLiang Jie，Electronic and information engineering,College of Information Science and TechnologyAbstract: At present, the field of pattern recognition in everyday life has been mo

4、re and more widely used, such as the face, fingerprint recognition, character recognition, vehicle license plate recognition. Therefore, the digital identification of learning and research is very necessary.The topic for the digital character recognition simulation demo system. Mainly using normal d

5、istribution under the minimum error rate of Bayes method and Bayes method to achieve the minimum risk, handwritten digits from 0 to9 of the identification. The system first is to realize the simulation of handwritten numeral; then using contour feature will be5* 5templates extracted sample character

6、istics, using the template in the same shape, different sizes of samples to be normalized feature extraction, so the ability of the same shape, different sizes of samples as similar; finally bined with the Bayes decision discriminant. Minimum error rate using the Bayes method, the discrimination pro

7、cess can make the error rate reaches a minimum, even wrong classification and the possibility of the minimum, while minimizing risks Bayes method in judging process, can make the risk minimum, harm reduction in fault classification.This design is the use of Matlab to achieve, experiments show that,

8、the system for the simulation of handwritten digital basically correct identification, but for handwriting irregular number may have misjudged case, this with the sample library association.Key words:Pattern recognition； minimum error；minimum risk；feature selection；simulated handwriting；Matlab目 录1绪论

9、11.1手写数字特征提取与分析的背景与意义11.2手写数字特征的识别技术简介11.3现有的手写特征提取的有关算法21.4手写特征的典型应用21.5本文研究的容32模式识别与MATLAB的介绍42.1 模式识别42.1.1 模式识别的根本概念42.1.2 模式识别系统42.1.3 相关值计算42.2Matlab52.2.1Matlab软件的介绍52.2.2 Matlab的主要优缺点62.2.3Matlab图像类型及转换分析73手写特征的提取与选择93.1特征的种类与筛选93.1.1笔划密度特征93.1.2傅立叶变换特征93.1.3轮廓特征113.1.4投影特征123.1.5重心及重心矩特征143

10、.1.6首个黑点位置特征143.1.7粗网格特征153.2特征提取方法153.2.1构造特征提取方法153.2.2统计特征提取方法163.3手写特征模式识别方法174 BAYES分类器在手写特征中应用194.1 Bayes分类器194.2基于概率的Bayes决策204.3基于最小错误率Bayes的手写数字字符分类214.3.1样品均值214.3.2协方差矩阵224.3.3 先验概率224.3.4 协方差矩阵的行列式224.3.5 协方差矩阵的逆矩阵234.3.6 判别函数244.4基于最小风险的Bayes分类的实现244.4.1 与最小错误Bayes决策的一样之处244.4.2 后验概率254

11、.4.3 损失函数255分类实验与信息265.1特征提取方法的软件实现265.2截图并说明仿真过程265.3获得实验结果285.4分类结果分析与评价296总结30致31参考文献32附录34附录1编程代码：34附录2仿真局部截图：391绪 论1.1手写数字特征提取与分析的背景与意义手写数字特征提取与分析在学科上属于模式识别和人工智能的畴。在过去的四十年中，人们想出了很多方法获取手写字符的关键特征。这些手段分两大类：全局分析和构造分析。对前者，我们可以使用模板匹配、象素密度、矩、特征点、数学变换等技术。这类的特征常常和统计分类方法一起使用。对后者，多半需要从字符的轮廓或骨架上提取字符形状的根本特征

12、，包括：圈、端点、节点、弧、突起、凹陷、笔画等等。与这些构造特征配合使用的往往是句法的分类方法。多年的研究实践说明，对于完全没有限制的手写数字，几乎可以肯定：没有一种简单的方案能到达很高的识别率和识别精度。因此，最近这方面的努力向着更为成熟、复杂、综合的方向开展。一方面，研究工作者努力把新的知识运用到预处理，特征提取，分类当中，如：神经网络、数学形态学等。作者认为，在手写数字识别的研究中，Bayes和多种方法的综合是值得重视的方向。手写数字特征提取与分析研究的理论意义：1.阿拉伯数字是唯一的被世界各国通用的符号，对手写数字识别的研究根本上与文化背景无关，这样就为各国，各地区的研究工作者提供了一

13、个施展才智的大舞台。在这一领域大家可以探讨，比拟各种研究方法。2.由于数字识别的类别数较小，有助于做深入分析及验证一些新的理论。3.尽管人们对手写数字的识别已从事了很长时间的研究，并已取得了很多成果，但到目前为止机器的识别本领还无法与人的认知能力相比，这仍是一个有难度的开放问题。4.手写数字的识别方法很容易推广到其它一些相关问题棗一个直接的应用是对英文这样的拼音文字的识别。事实上，很多学者就是把数字和英文字母的识别放在一块儿研究的。1.2手写数字特征的识别技术简介手写数字特征的识别技术简介如图1.1所示，由数据获取、预处理、特征提取、分类决策及Matlab分类器设计五局部组成。一般分为上下两局

14、部。上局部完成未知类别的模式分类；下般局部属于设计分类器的训练过程，利用样品进展训练，确定分类器的具体参数，完成分类器的设计。而分类决策在识别的过程中起作用，对待识别样品进展决策分类。数据获取预处理特征提取分类决策分类结果训练样本输入误差检验预处理确定判别函数特征提取改良判别函数图1.1模式识别的过程1.3现有的手写特征提取的有关算法现有的手写特征提取的算法有多种，最邻近模版匹配法，基于PCA的模版匹配法，基于类中心的欧式距离法分类法，马氏距离分类法，夹角余弦距离分类法，二值化的夹角余弦距离分类法，二值化的Tanimoto测度分类法，特征空间分类法，二值数据的贝叶斯分类法，最小错误概率的贝叶斯

15、分类法，最小风险的贝叶斯分类法，正太性分布函数的统计假设检验法，Fisher算法，LMSE算法，势函数法，基于核的Fisher法，BP神经网络分类法，RBF神级网络分类法，Hopfield神经网络分类法，自组织神经网络分类法，CPN神级网络分类法等等，还有各种现阶段的新型算法。1.4手写特征的典型应用手写数字识别有着极为广泛的应用前景，这也正是它受到世界各国的研究工作者重视的一个主要原因。下面我们将介绍以手写数字识别技术为根底的典型应用。 1、手写数字识别在大规模数据统计中的应用:在大规模的数据统计(如:行业年检、人口普查等)中，需要输入大量的数据，以前完全要手工输入，那么需要消耗大量的人力和

16、物力。近年来在这类工作中采用OCR技术已成为一种趋势。因为在这种应用中，数据的录入是集中组织的，所以往往可以通过专门设计表格和对书写施加限制以便于机器的自动识别。目前国的大多数实用系统都要求用户按指定规在方格填写。另外，这些系统往往采用适宜的用户界面对识别结果做全面的检查，最终保证结果正确无误。可以看出，这是一类相对容易的应用，对识别核心算法的要求比拟低，是目前国很多单位应用开发的热点。 2、手写数字识别在财务、税务、金融领域中的应用:财务、税务、金融是手写数字识别大有可为的又一领域。随着我国经济的迅速开展，每天等待处理的财务、税务报表、支票、付款单等越来越多。如果能把它们用计算机自动处理，无

17、疑可以节约大量的时间、金钱和劳力。与上面提到的统计报表处理相比，在这个领域的应用难度更大，原因有:1)对识别的精度要求更高;2)处理的表格往往不止一种，一个系统应能智能地同时处理假设干种表格;3)由于处理贯穿于整个日常工作之中，书写应尽量按一般习惯(如:不对书写者的写法做限定，书写时允许写连续的字串，而不是在固定的方格书写)，这样对识别及预处理的核心算法要求也提高了。 3、手写数字识别在分拣中的应用:随着人们生活水平的提高，经济活动的开展，通信联系的需求使信函的互换量大幅度增加，我国函件业务量也在不断增长，预计到2000年，一些大城市的中心邮局每天处理量将高达几百万件，业务量的急剧上升使得的分

18、拣自动化成为大势所趋。在的自动分拣中，手写数字识别往往与光学条码识别，人工辅助识别等手段相结合，完成邮政编码的阅读。目前使用量最大的OVCS分拣机的性能指标:OCR拒分率30%, OCR分拣过失率1.1%。1.5本文研究的容本次设计拟解决的主要问题是运用Matlab的Bayes工具箱函数在系统实现的过程中面临的核心技术，也就是图像预处理和数字识别等2个模块的Matlab程序的实现。本系统研究的根本容主要是从Bayes最小错误率和Bayes最小风险仿真程序设计两个主要分类入手，运用Bayes别离器各种学习算法技术来解决现实生活中经常涉及到的印刷体数字字符0-9的识别问题。第二章主要写了模式识别的

19、根本概念和Matlab软件的根本介绍，第三章主要写了手写数字的一些特征和手写数字特征的提取方法，以及本论文选择什么方法对手写数字进展特征的提取与选择，第四章主要介绍了Bayes分类器，以及2种Bayes分类器决策方案的计算即：最小错误率Bayes和最小风险Bayes。第五章写了Bayes分类器的仿真实验及截图说明。2模式识别与Matlab的介绍2.1 模式识别2.1.1模式识别的根本概念模式识别(Patten Recognition)就是机器识别或机器自动识别，目的在于让机器自动识别事物。例如手写数字识别，就是将手写的数字分到具体的数字类别中。模式识别研究的容是利用计算机对客观物体进展分类，在

20、错误概率最小的条件下，使识别的结果尽量与客观物体相符合。让机器判别事物的最根本方法就是计算，原那么上讲是对计算机要分析的事物与标准模板的相似程度进展计算。例如要识别一个手写数字，就要将它与0到9的模板进展比拟，看跟哪个模板最相似或最接近。2.1.2 模式识别系统一个典型的模式识别系统如图2.1所示，由数据获取、预处理、特征提取、分类决策及分类器设计五局部组成。一般分为上下两局部。上局部完成未知类别的模式分类；下般局部属于设计分类器的训练过程，利用样品进展训练，确定分类器的具体参数，完成分类器的设计。而分类决策在识别的过程中起作用，对待识别样品进展决策分类。数据获取预处理特征提取分类决策分类结果

21、训练样本输入误差检验预处理确定判别函数特征提取改良判别函数图2.1模式识别的过程2.1.3 相关值计算1)均值N个样品的均值可以表示为： 2-1其中是第i个特征的平均值，。2)方差方差用来描述一批数的分散程度，第i个特征的N个数的方差公式是： 2-2方差的平方根称为均方差，。3)协方差与协方差矩阵在N个样品中，第i个特征和第j个特征之间的协方差定义为： 2-3对同一批样品来说，=。如果一批样品有n个特征。求出每两个特征的协方差，总共得到个值。将这个值排练成以下的n维方阵，称为协方差矩阵： 2-4协方差矩阵是对称矩阵，而且主对角线元素就是特征的方差，。2.2Matlab2.2.1Matlab软件

22、的介绍MATLAB是Math works公司于推出的一套高性能的数值计算和可视化软件，其全称是Matrix Laboratory，亦即矩阵实验室，经过多年的逐步开展与不断完善，现已成为国际公认的最优秀的科学计算与数学应用软件之一，是近几年来在国外广泛流行的一种可视化科学计算软件。它集数值分析、矩阵运算、信号处理和图形显示于一体，构成了一个方便的、界面友好的用户环境，而且还具有可扩展性特征。Math Works公司针对不同领域的应用，推出了信号处理、控制系统、神经网络、图像处理、小波分析、鲁棒控制、非线性系统控制设计、系统辨识、优化设计、统计分析、财政金融、样条、通信等30多个具有专门功能的工具

23、箱，这些工具箱是由该领域的学术水平较高的专家编写的，无需用户自己编写所用的专业根底程序，可直接对工具箱进展运用。同时。工具箱的函数源程序也是开放性的，多为M文件，用户可以查看这些文件的代码并进展更改，MATLAB支持用户对其函数进展二次开发，用户的应用程序也可以作为新的函数添加到相应的工具箱中。2.2.2 Matlab的主要优缺点1Matlab的主要优点(1)界面友好，编程效率高Matlab是一种以矩阵为根本变量单元的可视化程序设计语言，它的语法构造简单，数据类型单一，命令表达方式接近于常用的数学公式。这使Matlab用户在短时间就能快速地掌握其主要容和根本操作。Matlab不仅可免去大量的经

24、常反复的根本数学运算，而且它的编译和执行速度都远远超过了采用C和Fortran语言设计的程序。可以说，Matlab在科学计算与工程应用方面的编程效率都远远高于其他高级语言。(2)功能强大，可扩展性强Matlab语言不但提供了科学计算、数据分析与可视化、系统仿真等强大的功能，而且具有可扩展性特征。Mathworks公司针对不同领域的应用，推出了自动控制、信号处理、图像处理、模糊逻辑、神经网络、小波分析、通信、最优化、数理统计、偏微分方程、财政金融等30多个具有专门功能的Matlab工具箱。各种工具箱中的函数可以互相调用，也可以由用户自己更改。Matlab支持用户对其函数进展二次开发，用户的应用程

25、序可以作为新的函数添加到相应的工具箱中。(3)易学易用性Matlab不需要用户有高深的数学知识和程序设计能力，不需要用户深刻了解算法及编程技巧。(4)高效性Matlab语句功能十分强大，一条语句可完成十分复杂的任务。它大大加快了工程技术人员从事软件开发的效率。据Math works公司声称，Matlab软件中所包含Matlab源代码相当于70万条c代码。正是Matlab语言的这些优势，我们选择采用这种语言实现图像处理算法，利用MATLAB强大的工具包，使算法易于实现。2Matlab的主要缺点然而MATLAB自身存在的某些缺点限制了它的应用围。(1) Matlab是一种解释性语言，所以它的语言执

26、行效率低，这对于实时性要求较高的领域，如自动控制，信号处理等，其实时效率是较差的。(2) Matlab程序不能脱离其环境运行，因此它不能被用于开发商用软件。(3)程序可以被直接看到程序的源代码，因而不利于算法和数据的。2.2.3Matlab图像类型及转换分析Matlab中的一幅图像可能包含一个数据矩阵，也可能包含一个颜色映射表矩阵，它包含4种根本的图像类型：索引图像、灰度图像、RGB图像和二值图像。此外，Matlab还支持由多帧图像组成的图像序列。1索引图像索引图像包括一个数据矩阵A，一个颜色映射矩阵B。其中B是一个包含3列和假设干行的数据阵列。B矩阵的每一行分别表示红色、绿色和蓝色的颜色值。

27、在Matlab中，索引图像是从像素值到颜色映射表值的直接映射。像素颜色由数据矩阵A作为索引指向矩阵B进展索引。例如，值1指向矩阵B中的第一行，2指向第二行，依此类推。2灰度图像Matlab中，一幅灰度图像是一个数据矩阵I，其中I的数据均代表了在一定围的颜色灰度值。Matlab把灰度图像存储为一个数据矩阵，该数据矩阵中的元素分别代表了图像中的像素。矩阵中的元素可以是双精度的浮点数类型、8位或16位无符号的整数类型。大多数情况下，灰度图像很少和颜色映射表一起保存。但是在显示灰度图像时，Matlab仍然在后台使用系统预定义的默认的灰度颜色映射表。3二值图像与灰度图像一样，二值图像只需要一个数据矩阵，

28、每个像素只取两个灰度值。二值图像可以采用uint8和double类型存储，工具箱中以二值图像作为返回结果的函数都使用uint8类型。4RGB图像RGB图像，即真彩色图像，在Matlab中存储为nXmX3的数据矩阵。数组中的元素定义了图像中每一个像素的红、绿、蓝颜色值。需要指出的是，RGB图像不使用Windows颜色映射表。像素的颜色保存在像素位置上的红、绿、蓝的强度值的组合来确定。图像文件格式把RGB图像存储为24位的图像，红、绿、蓝分别占8位。这样可以有约1000万种颜色(即2“=16777216)。5图像序列Matlab的图像处理工具箱中还支持将多帧图像连接成图像序列。图像序列是一个四维的

29、数组，图像帧的序号在图像的长、宽、颜色深度之后构成第四维。比方一个包含了5幅400*300像素的真彩色图像序列，其大小为400*300*3*5。3手写特征的提取与选择3.1特征的种类与筛选在抽取过程中，针对手写数字的特点，抽取了包括傅立叶系数特征、笔划密度特征、轮廓特征、投影特征、重心及重心矩特征、粗网格特征和首个黑点位置特征共104维特征。3.1.1笔划密度特征笔划密度特征的提取方法是:以不同方向扫描数字，计算扫描线和笔划相交的次数，形成笔划密度特征向量.在本文中，我对16X16的样本在水平方向上每隔4行扫描一次，提取了4个特征值，并在垂直方向上也每隔4行扫描一次，提取4个特征值，最后共形成

30、8个值的特征向量。从密度特征的提取方法容易看到，笔划密度特征对字形畸变的抗干扰能力较强，但抗噪声能力较弱.3.1.2傅立叶变换特征关于在频域里提取形状特征的问题，一般来说，区域的别界是一条封闭的曲线。如果在此轮廓线上取一动点，并且沿曲线逆时针方向移动，那么从点的坐标的变换是一个周期函数.通过规化以后，这个周期函数可以展开成傅立叶级数。显然，傅立叶级数中的一系列系数于边界曲线的形状有关，可以用作形状的描述。当增加级数的项数使系数取到足够多的阶次时，几乎可以把形状信息完全提取出来，并且可以通过这些系数重建原来的几何形状。傅立叶变换是在图像处理中应用广泛的一种二维正交变换，傅立叶变换后平均值即直流项

31、正比于图像灰度值的平均值，低频分量那么说明了图像中目标边缘的强度和方向。手写体字符一般能用很多线段构成的封闭轮廓来表示，通过映射所得到的一些离散量能够充分的反映这些封闭轮廓的变化。傅立叶系数能够很好的描述图像边界轮廓，其值与相似字形的平移、旋转、位移和尺寸大小无关。在字形表征和识别时，这些特征形成明显的数据压缩。图像经数字化处理后，可以用二维的离散信号I(m,)来表示。对于二维离散信号Am,n)(m =0,1. M-l,r-0,1,二，N-1)，其离散傅立叶变换定义为：3-1在式中，。，1, . M-l,t=0,1, .,N-1，称为空间频率。J为虚数单位，广一1,逆变换定义为3-2在式中，m

32、om, 1. . M-l,n-O,l. N-10 在图像处理时，一般选取图像块为Nx的方阵，即取M=N，这时二维离散傅立叶变换和逆变换式为3-33-4在(2-3)和(2-4)两式中，u,v,m,n=0,l, .,N-1,从物理效果看，傅立叶变换是将图像从空间域变换到频率域，其逆变换是将图像从频率域转换到空间域。换句话说，傅立叶变换的物理意义是将图像的灰度分布函数变换为频率分布函数，傅立叶逆变换是将图像的频率分布函数变换为灰度分布函数。傅立叶变换可以得出信号在各个频率点上的强度。傅立叶变换之所以在图像处理中被广泛使用，成为图像处理的有力工具，就因为它具有良好的性质。傅立叶变换具有可别离性，式(2

33、-1)的指数可以被分解，从而变换可以写成如下形式:3-5 根据此式，二维离散傅立叶变换分解为水平和垂直两局部运算。式(3-5)中方括号中的项表示在图像的行上计算的离散傅立叶变换，方括号外面的求和那么实现结果数组在列上的离散傅立叶变换。这种分解使得可以用一维的快速傅立叶变换来实现二维傅立叶变换。具体来说，一般采取连续2次运用一维离散快速傅立叶变换的方法来实现，即先没/(m,n)的每一个m对n求变换，再乘以N得到F(m,v)，完成第一次变换。然后再将得到F(m,v)af(m,v)的每一个v对m求变换，即可得m,n)的最终变换F(u,v).对字符点阵(16x16)做二维离散傅立叶变换，可以得到256

34、个傅立叶系数。将F(u,v)用矩阵表示如下:3-6 F(u,v)的大幅值系数集中在低频区域，即矩阵的左上、右上、左下、右下四角的周围。我对字符点阵做二维(16X16点)的离散傅立叶变换，并从上文中所提到的四个低频区域中选取了32个离散傅立叶变换系数作为特征。这32个特征系数是:F(0,0), F(0,1),F(0,2), F(0,3), F(0,4), F(1,0), F(2,0), F(3,0), F(4,0), F(1,1), F(1,3),F(2,1), F(2,2), F(2,3), F(3,1), F(3,2), F(1,15), F(1,14), F(2,15), F(2,14),

35、 F(3,15),F(15,1), F(14,1), F(14,2), F(13,1), F(15,15), F(15,14), F(15,13), F(14,15), F(14,14),F(13,15), F(13,14)，然后再将这些特征归一化到0,1区间之。3.1.3轮廓特征字符的轮廓特征能够很好的反映字符的整体构造和特性，提取轮廓特征时先由根据边界信息算法的A值操作组成，从而提供了字符的轮廓外形。从规整化的轮廓中直接可以导出字符的边缘轮廓。规整化的字符以NXN的点阵表示，在这里N为16.记、为点阵第k行的左、右轮廓。=,k 0,N-1 , 满足f(k, ) =1且当j ,f(k,j)

36、= 0 (1)字符宽度定义为： W(k)=Rp(k)一Lp(k) 3-7 K0,N-1表示指定的行。宽度在描述某些字符如“0”，“6”，“8”，“9”时非常用。 (2)比率定义为：比率=N/Wmax 3-8 W二是字符有效宽度，W_=max(W(k),k0,N-1利用比率特征可以有效识别字符“1，对于字符“1来说，比率特征总是大于2.5，而对于其他字符来说，比率特征并非总是大于2.50 (3)字符有效高度Hamx定义为： Hmax=max(H(k) 3-9 K属于O,N-1,H(k)为第k列的字符高度。 (4)宽高比定义为W-/H左右边缘线的一阶有限差分别为: LDif(k)=Lp(k)一Lp

37、(k-1) 3-10 RDif(k)=Rp(k)一Rp(k-1) 3-11由此，定义了如下特征字符轮廓线最大值和最小值所在的位置 Lmax=k|k=max(Lp(k) 3-12 Rmax=k|k=max(Rp(k) 3-13Lmax=k|k=min(Lp(k) 3-14 Rmax=k|k =min(Rp(k) 3-15字符左右边缘线的正负峰 Lpeak+=maxLDif(k) 3-16 Rpeak+=maxRDif(k) 3-17 Lpeak-=minLDif(k) 3-18 Rpeak-=minRDif(k) 3-19 Lpeak=|Lpeak+|+|Lpeak- | 3-20 Rpeak=

38、|Rpeak+|+|Rpeak- | 3-21这样共有14个特征，分别是字符有效宽度、字符比率、字符有效高度、字符高宽比、字符轮廓线左侧最大值、字符轮廓线左侧最小值、字符轮廓线右侧最大值、字符轮廓线右侧最小值、字符边缘线左侧正峰值、字符边缘线左侧负峰值、字符边缘线右侧正峰值、字符边缘线右侧负峰值、字符边缘线左侧正负峰值绝对值之和、字符边缘线右侧正负峰值绝对值之和。3.1.4投影特征如图3.1所示，将一个字符点阵划分成四个象限区域，共有十二个边线。将一个字符点阵中的每一个黑点向最近的四条边线沿水平和垂直方向投影，用十二条边线上的投影长度作为投影特征，一共有十二个特征。图3.1投影特征投影算法的根

39、本描述如下:对于字符点阵中的每一个点，投影到离它最近的四条边线上，具体投影方法如图3.2所示，图3.2水平、竖直方向上的投影当一点被投影到某一个边线上时，激活该边线上的某一个bit或者某些bit,这些被激活的bit取值为“1，其他没有被激活的取值为“0，当一个字符所有的点都投影完时，计算某一个边线上“1的个数，即为字符在这一个边线上的投影数值。之所以选用投影特征作为手写体数字识别的特征，一方面是因为投影特征计算简单，能够反映字符的部构造和笔划的分布情况，唯一性，可区别性好，是比拟有代表性的特征，不同数字之间的12个投影特征的各个分量差异比拟明显，可以考虑作为分类的细特征。另一方面，神经生理学认

40、为，在哺乳动物视觉系统存在着类似的投影边线，人们在进展识别时在不同的水平上引用到这些线索，因此引入字符的投影特征也是符合人脑的感知模型。3.1.5重心及重心矩特征由于不同字符的笔划不同，其象素点的分布不同，所以造成不同字符的重心位置不同，与其有关的一些离散量包含了字符几何特征的信息。令fIm。表示点阵中第m行，第n列象素。定义:3-223-23其中m =1,2,. M-1, n = 1,2,. N-1.(m, n)就定义为整个字符的重心位置。定义重心矩如下:3-24其中i=1,2; j=1,2.这样可以得到四个重心矩特征:中的象素偏离重心位置的整体特征。L;j(i=1,2; j=1,2),它们

41、分别反映了四个象限本文中的重心及重心矩特征计算了点阵的重心位置，以及四个象限重心矩，共五个特征，包括一个二维特征，四个一维特征。3.1.6首个黑点位置特征按上文中定义的八个方向，沿逆时针方向，即0度方向一45度方向一90度方向一135度方向一180度方向一135度方向一-90度方向一-45度方向，统计各个方向上由外至首个黑点出现的位置，共计8个二维特征。3.1.7粗网格特征粗网格特征是一组注重字符图像整体的分布特征，此种特征对噪声具有极强的抑制能能力。一般来说，虽然手写数字的书写风格千变万化，但是数字笔划的分布是有一定的规律的。由于10个字符的笔划具有比拟固定的总体分布状况，从特征选择的质量来

42、讲，不同数字的特征向量在特征空间中的分布是比拟分散的，即特征空间中不同类的类间距离是比拟大的。本文进展的粗网格特征提取，其提取方法的主要思想是，把数字点阵分成几个局部小区域，并把每个小区域上的点阵密度作为描述特征，即统计每个小区域中图像象素所占的百分比作为特征数据。针对16X16的点阵，我将之划分成大小为4X4的小区域，共计16个，因此，共得出一个十六维的粗网格特征。由于粗网格特征反映的是图像的局部统计特征，是个百分比相对值，而图像局部的形变或噪声对应数字点阵就是局部元素的“0”和“1的值互换，所以如果图像带有局部的形变或噪声，与没有形变和噪声的原图像相比，计算出来的百分比相对值变化不大.也就

43、是说，这个相对值对于数字图片局部笔划的形变或孤立噪声点带来的影响不敏感。因此，以粗网格为特征进展数字识别，具有较好的抗噪声能力.根据不同点阵和取不同小区域的具体计算方法可参考文献。同时，根据文献的实验结果，以粗网格作为特征提取进展数字识别，有很好的识别率。3.2特征提取方法特征提取是整个字符识别系统的关键，识别算法是根据选取特征的种类来进展选择的所选取的特征是否稳定，是否代表一类字符的特点，是系统识别率的上下的关键。手写体字符特征提取的方法可分为构造特征和统计特征两种。下面分别简述这两种特征提取方法的特点与一般方法。3.2.1构造特征提取方法采用构造特征提取对字符进展构造分析从而到达识别的目的

44、，是一种非常直观的方法，其思想与人认字的原理有点相象，但又有所不同。其根本思想是:字符可以逐级分解成部件、笔划乃至笔段，识别时可以自底向上，由象素得到笔段，由笔段结合成笔划，由笔划构成部件，由部件组成字符，逐级分析字符图象的构造，根据各元素的属性、数量及其相互关系，便可以判定待识字符。目前研究较成熟，效果比拟好的是基于笔划和基于笔段分析的手写体字符识别。对不同的字符手写样本，尽管人书写风格千变万化，然而，笔划与笔划之间的位置关系、以笔划为基元的字符的整体拓扑构造是不变的，人认字就是抓住了这些本质不变的特征，因此能适应不同的书写风格的文字。所以，基于笔划来自动识别字符一直是手写体字符识别研究的一

45、类主要研究方法.虽然字符的笔划特征受字体、字形大小等影响较小，是识别字符的良好特征，但可惜笔划特征对实际的书写文本来说较难稳定的提取。通常，用基于笔划段作为特征能较好的解决这一困难。采用构造特征提取方法的难点在于笔划或笔段等基元的准确提取。虽然提取笔划或笔段的方法己有多种研究，但它们都是基于图象处理的方法，截然不同于人根据知识和经历而作出的视觉处理。单纯建立在图象处理方法上的笔段机器分析只能十分机械地按图象就事论事，结果提取到的笔段难免与人的判别不完全一致。这种情况在存在连笔、断笔、模糊等的场合尤为不可防止。所以，书写畸变对构造特征分析法有十分重要的影响。因此，寻求稳定可靠的笔段提取方法仍然是

46、当前有待进一步研究的课题。3.2.2统计特征提取方法从统计模式识别的观点来看，字符识别实际上是一个模式分类问题，人对自然物体的识别，是建立在对该物体进展学习、特征分析的根底上的，计算机模式识别的过程与人的识别过程有着相识的地方。实际上就是一种通过学习或者其它方法，形成一个记忆知识库，进展模式识别时，清晰地表达出一种从物体到记忆知识库的映像，从而得到识别结果。人在进展物体识别时，是利用大脑过学习形成的记忆库，对识别的物体进展一种黑箱式的映像，从记忆库中找出相匹配的类别。计算机要把人类识别物体时的这种黑箱式的映像表达出来，一般是由两个步骤来完成的:第一步，以适当的特征来描述物体，即由xif(xi)

47、的映像;第二步，计算机执行某种运算完成由f (xi)c(x)=X的映像。此过程实际上就是传统的统计模式识别进展物体识别时所采用的一般方法，具体来说就是特征提取和分类函数的设计的问题。而特征提取是问题难点和的关键所在。因为如果特征己知，就可以利用现有的数学理论来指导设计映像函数R(xi)。然而，对于特征的选择和提取，却没有可遵循的理论来指导，我们很难比拟一个物体中哪些特征是实质性，那些特征是有代表性的，那些特征可能是不重要的或与识别无关的，这需要大量的实验和理论指导。经过人们在这方面的大量研究工作，开展了一些统计特征提取方法，在本章后面局部，我们将讨论几种常用的特征提取方法，并提出了本文中使用的

48、特征向量。3.3手写特征模式识别方法对数字识别特征提取有多种方法，本论文采用的方法是先提取数字的轮廓特征，然后对图像进展裁剪之后按黑像素占总像素的比率提取出的特征值。 轮廓特征主要是指周边轮廓特征，即将数字字形加上外接矩形边框，然后分别从上、下、左、右四个方向依次扫描数字点阵直至碰到第一个黑象素或对面的边框为止，记录下每次扫9 描所经过的白象素数，从而得到对应数字的4维特征向量，称为数字的周边轮廓特征,此特征稳定性较强、较易提取、维数较低、独立性较强。 完成图像进展裁剪以后，把每个数字图形定义成一个N*N(5*5)的模板，将每个样品的长度和宽度N等分，平均有N*N个等分，对每一等分进展像素个数

49、统计，除以每一份的面积总数即得特征值。具体步骤如下：1) 调入样本图片，找出图片中数字的上、下、左、右边界。对图像进展裁剪处理。2) 将数字区域平均分成5*5的小区域。 3) 计算5*5的每个小区域中黑像素所占比例，第一行的5个比例值保存到特征的前5个，第二行对应着特征的6-10，如此保存样本的特征值。图3.3特征提取过程本论文提取每个数字25个样本的特征值之后，把它们保存在构造体Mytemplet里，构成了特征库。 下面以0为例看一下求取特征值的方法，首先把图像按边缘裁剪放缩后，然后分成5x5的小区域(如下所示)，然后计算出每个小区域中黑像素所占的比例，存储之后即为0的一个样本特征值。 图3

50、.4 数字0的特征提取下面提取出来的就是上面数字0每个区域对应的特征值：表3.1 数字0的特征值0.13220.23560.16890.22320.15220.33330000.29000.27000000.26890.29670000.29110.09890.23560.17440.23000.1133得到的特征值再通过Bayes决策进展计算，最终得到决策结果。4 Bayes分类器在手写特征中应用4.1 Bayes分类器贝叶斯(Bayes)分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝

51、叶斯分类器是最小错误率意义上的优化。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive Bayes、TAN、BAN和GBN。贝叶斯分类器是用于分类的贝叶斯网络。该网络中应包含类结点C，其中C 的取值来自于类集合( c1 , c2 , . , cm)，还包含一组结点X = ( X1 , X2 , . , Xn)，表示用于分类的特征。对于贝叶斯网络分类器，假设某一待分类的样本D，其分类特征值为x = ( x1 , x2 , . , x n) ，那么样本D 属于类别ci 的概率P( C = ci | X1 = x1 , X2 = x 2 , . , Xn = x n) ，( i = 1 ,2

52、, . , m) 应满足下式：P( C = ci | X = x) = Max P( C = c1 | X = x) , P( C = c2 | X = x ) , . , P( C = cm | X = x ) 而由贝叶斯公式： P( C = ci | X = x) = P( X = x | C = ci) * P( C = ci) / P( X = x) 其中，P( C = ci) 可由领域专家的经历得到,而P( X = x | C = ci) 和P( X = x) 的计算那么较困难。最小错误概率贝叶斯分类器：把代表模式的特征向量x分到c个类别(1，2,.,c)中某一类的最根本方法是计算x

53、的条件下，该模式属于各类的概率，用符号P(1|x),P(2|x),.,P(c|x)表示。比拟这些条件概率，最大数值所对应的类别i就是该模式所属的类。例如表示某个待查细胞的特征向量 x属于正常细胞类的概率是0.2，属于癌变细胞类的概率是0.8，就把它归类为癌变细胞。上述定义的条件概率也称为后验概率，在特征向量为一维的情况下,一般有图中的变化关系。当 x=x*时，P(1|x)=P(2|x)对于 xx*的区域，由于P(2|x)P(1|x)因此x属2类,对于xP(2|x)，x属1类,x*就相当于区域的分界点。图中的阴影面积就反映了这种方法的错误分类概率，对于以任何其他的 x值作为区域分界点的分类方法都

54、对应一个更大的阴影面积，因此贝叶斯分类器是一种最小错误概率的分类器 假设总共有M类物体，以及各类在这d维特征空间的统计分布，具体说来是各类别的先验概率及类条件概率密度。对于被测样品，Bayes公式可以计算出该样品分属个类别的概率，叫后验概率，看X属于哪个类的可能性最大，就把X归于可能性最大的那个类，后验概率作为识别对象归属的依据。Bayes公式如下： 4-1类别的状态是一个随机变量，而某种状态出现的概率是可以估计的。Bayes公式表达了先验概率、类概率密度函数、后验概率三者的关系。4.2基于概率的Bayes决策当分类器的设计完成后，对待测样品进展分类，一定能正确分类吗？如果有错分类情况发生，是

55、在何种情况下出现的？错分类的可能性会有多大？我们以某制药厂生产的药品检验识别为例，以此说明Bayes决策所要解决的问题。我们以药品为例，如图4.1，正常药品“+，异常药品“-。识别的目的是要依据X向量将药品划分为两类。对于图4.1来说，可以用一直线作为分界限，这条直线是X的线性方程，称为线性分类器。如果X向量被划分到直线右侧，那么其为正常药品，假设被划分到直线左侧，那么其为异常药品，可见对于其作出决策是很容易的，也不会出现过失。 A B x2 A x2 - + - + + + - - - + + - - - + - + - - + + + - - - + - - + - - + +o x1 o

56、 x1图 4.1 线性可分示意图 图4.2 线性不可分示意图问题在于出现摸棱两可的情况，如图4.2所示。此时，任何决策都存在判错的可能性。从图4.2中可见，在直线A、B之间，属于不同类的样品在特征空间中相互穿插，很难用简单的分界限将它们完全分开，即所观察到的某一样品的特征向量X，在M类中又有不止一类可能呈现这一X值，无论直线参数如何设计，总会有错分类发生。如果以错分类最小为原那么分类，那么图中A直线可能是最正确的分界限，它使错分类的样品数量为最小。但是如果将一个“-样品错分成“+类所造成的损失要比将“+分成“-类严重，这是由于将异常药品误判为正常药品，那么会使病人因失去及早治疗的时机而遭受极大

57、的损失；把正常药品误判为异常药品会给企业带来一点损失，那么偏向使对“-类样品的错分类进一步减少，可以使总的损失为最小，那么B直线就可能比A直线更适合作为分界限。可见分类器参数的选择或者学习过程得到的结果取决于设计者选择什么样的准那么函数。不同准那么函数的最优解对应不同的学习结果，得到性能不同的分类器。错分类往往难以防止，这种可能性可用表示，如何做出合理的判决就是Bayes决策所要讨论的问题。其中最有代表性的是基于最小错误率的Bayes决策与基于最小风险的Bayes决策。1基于最小错误率的Bayes决策指出了机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小。2

58、基于最小错误风险的Bayes决策引入了“风险与“损失概念，希望做到使风险最小，减少危害大的错分类情况。从图4.2可见，错分类有不同情况，两种错误造成的损失不一样，不同的错误分类造成的损失会不一样，后一种错误更可怕，因此就要考虑减少因错分类造成的危害损失。图4.3 基于最小错误分类和基于最小风险分类比拟4.3基于最小错误率Bayes的手写数字字符分类4.3.1样品均值求出每一类手写数字样品的均值 4-2代表类的样品个数，n代表特征数目。首先从样品库中求出每一类样品的总数int num=patternn.number，保存到num中。其次分别求出每类样品中5*5个区域，每个区域的特征值总和Xmeansi4.3.2协方差矩阵求出每一类的协方差矩阵 4-3代表样品在类中的序号，其中。代表类的第个样品，第j个特征值。代表类的