基于PNN 在手写体数字识别中的应用

0 引言

光学字符识别技术(Optical Character Recognition，OCR)中的手写体数字识别技术，其主要识别0-9 共10个字符，分类的类别比光学字符识别少得多。近年来，伴随着计算机技术和模式识技术的不断发展，手写体数字识别在邮政编码识别、财务金额识别、税表识别、电子商务数字处理、甚至是学生成绩单识别等方面得到了广泛应用 尽管模式识别技术不断发展，各种各样的分类器不断出现，但目前依然没有一种算法能够达到完美的效果。具有强大的自学能力、自适应性、分类能力、容错能力和快速识别等特点的人工神经网络备受人们的关注，并且在字符识别中得到了广泛应用本文将概率神经(Probabilistic Neural Networks，PNN) 应用于手写体数字识别中，并使用MNIST 数据库进行了实验验证。实验结果表明，基于概率神经网络的手写体数字识别得到了较好的识别率。

1 概率神经网络(PNN)的基本原理

D.F.Specht 博士在1989 年提出了一种概率神经网络。这种概率神经网络的结构简单，算法设计比较容易， 可以用线性的学习算法实现非线性学习算法的功能，广泛应用于模式分类的问题中。

1.1 贝叶斯分类器

概率神经网络以贝叶斯决策理论为基础。贝叶斯分类器的基本原理就是根据某对象的先验概率， 在有先验概率的情况下，根据贝叶斯的计算公式可以得到其后验概率，即该对象属于哪一类，最后选择后验概率最大的类作为该对象所属的类。这里我们把问题简化为两个类别(A1和A2)问题，对于A1和A2它们的先验概率分别为h1和h2，并且满足h1+h2=1。在一个向量需要分类时，我们先计算向量的后验概率， 进行分类的依据是哪个类别的后验概率大就将向量分到其中。假定x 为输入向量，p(A1|x)为x发生情况下A1的后验概率, 我们根据贝叶斯公式可以得出A1的后验概率为：p(A1 |x)= p(A1 |x)p(x|A1)p(x) (1)但是在实际应用中会存在损失与风险问题，有可能将应该属于A1的样本错误的分到了A2中， 或者是将A2中的样本错误的分到了A1中， 因此所造成的损失研究与发往往相差很大，因此需要对分类的规则进行调整。将向量指派到A1的动作我们假设为动作1，输入向量属于A2时却采取动作1所造成的损失定义为，则执行动作1我们就把它叫做期望风险，期望风险用R 表示。那么这时的判定规则就变成：当类别A1的期望风险大于A2的后验概率时， 将向量分类到类别A1中。调整后的规则变成：类别=A1，R(A1|x)p(A2 |x)A2，otherwise ! e(2)

1.2 概率神经网络的结构

概率神经网络四层结构分别为输入层、隐含层、求和层和输出层。第一层接收训练样本的值，神经元个数与向量的长度相等。第二层隐含层接收输入层传过来的数据，神经元的节点个数与训练样本数相同，并且所有的节点都有一个中心点。在第三层求和层对同类别的隐含层的输出做加权平均，一个神经元与一个相应的类别对应。最后一层是输出层，对阈值进行判断，把最大的后验概率的神经元输出为1， 其他的输出为0。概率神经网络结构和PNN 网络的结构。

2 手写体数字识别系统的实现

在实际应用时， 手写体数字一般是以图像的形式提供的。原始图像通过输入设备(如光电扫描仪、电子传真机等)获取图像信息，获得图像后不能直接用于识别，需要进行预处理、字符分割、特征提取、选择分类器等过程后，才开始进行手写体数字识别。手写体数字识别的完整过程。

2.1 图像预处理

与大多数的图像处理算法类似， 数字识别的第一步是对图像进行预处理。由于不同的输入设备扫描得到的数字图像通常情况下质量不同，往往包含了各种各样的噪声，为了防止对后期的识别过程造成干扰，首先需要对图像进行去噪、滤波等处理。此外，在数字识别中使用的是二值图像。所以如果输入的是灰度图像，需要先对图像进行二值化的过程，再做预处理。如果输入的是彩色图像，则需要先进行灰度化。由于预处理是为了提高后期的识别率，所以在整个手写体数字识别中， 对图像进行预处理的重要性是不言而喻的。预处理的效果好，就可以提高手写体数字的识别率和识别速度。反之，在后期的识别中将会出现许多的不良后果，如错误识别、拒绝识别等。

2.2 特征提取算法

特征提取在手写体数字识别的过程中很重要，提取特征有很多不同的方法， 它对分类效果产生很大的影响。提取特征好将可以提高识别率。常用的手写体数字特征有：结构特征和统计特征。结构特征在相似字区分方面具有较高的识别率。虽然结构特征反映了数字的几何结构，体现了数字结构的本质特征，但是易受到外在因素的干扰。统计特征以二值或者灰度值点阵图为基础，经过傅立叶描述子、小波变换等数学变换对数字图像点阵进行提取特征。为了取得良好的识别效果，本文特征提取采取了结构特征与统计特征相结合的方式，共抽取了14 维特征。其中结构特征8 个，统计特征6 个。构成一个长度为14 的特征向量，用该特征向量代表了每一幅数字图

2.3 手写体数字识别的实现

不同的分类器有不用的特点。朴素贝叶斯分类器是各分量统计独立时的最佳分类器; 支持向量机是性能优异、发展很快的一种分类器;人工神经网络，具有很强的并行性和自适应能力，具有实现任意非线性映射的能力。本实验采用概率神经网络作为分类器，具有分类准确，速度快的优点。为实验中构建的概率神经网络结构图。网络输入层神经元节点数与输出向量维度相同，包含了14 个神经元。由于使用的训练样本个数是35000，所以在径向基层中有35000 个神经元节点。第三层为隐含层，神经元节点个数为分类的类别数，因此等于10。分类类别决定了输出层只包含一个神经元。使用newpnn 函数创建的网络，输出的类别是以向量的形式给出，例如输出类别是第四类，则向量的表示形式为[0,0,0,1,0,0,0,0,0,0]T。概率神经网络有多少个训练样本就有多少个径向基神经元。每一次输入新的样本的时候都需要求出它在这个神经元所在样本的概率。之后输出到隐含层中。得到所对应样本的概率。最后根据最大的概率判断输出。

3 实验结果及分析

实验中使用包含了60000 个训练样本和10000 个测试样本的MNIST 数据库。从训练库中抽取35000张样本输入到网络进行训练，然后对测试库中的10000张样本进行测试实验。我们可以发现，在样本数保持不变的情况下， 不同网络扩散速度的识别效果也有所不同。可以看出，当网络扩散速度选择0.15 时，识别率是最好的。在另外一组实验中， 当网络扩散速度(0.15)确定时，输入的样本数比较少，训练效果不理想，识别率也不高。不断地增加训练样本的数量进行不同的实验，发现样本的增加与识别率成正比。所以，建立强大的样本库在整个识别过程中的地位是不言而喻的。在实际运用中采用更多的训练样本，识别率将会更高。概率神经网络网络扩散速度不同时的识别结果。概率神经网络训练样本个数不同时的训练结果。

4 结语

本文在对概率神经网络进行深入分析的基础上，探索了概率神经网络用于手写体数字识别的可行性和有效性。最后，通过MNIST 手写体数字库进行实验，结果表明， 基于概率神经网络的手写体数字识别方法基本能够实现对手写体数字的准确、快速识别，并且具有良好的抗干扰能力。进一步改进已有算法，在样本数一定时，可以获得更高的识别率和更快的识别速度。