基于SVM和BP神经网络的手写数字识别(5)

下图3-8是针对二类分布的样本。图a中，要将两类样本分离需要用一个椭圆形的非线性分类器，而图b，借助两阶多项式把信息射影进三度空间中，只需要一个线性的分类面就能把区分开两种不同的样本。

x2z3x1z1z2（a）（b）图3-8 二维样本分类

SVM中每一个核函数各自都有与其相对应的一种互不一致的不是线性的射影。常用的核函数主要有：

1）线性核函数：K?x，xi??=??xxi； （3-22）

TTp2）多项式核函数：K(x，xi)=(?xxi +r)?，??>0?； （3-23）

3）径向基（高斯）核函数：K，??>0?； （3-24） （x，xi）=exp（-?||x-xi||2）4）两层感知器核函数：K(x，xi)=tanh(?xTxi+r) 。 （3-25）

对于同一个的数据集，使用不同的核函数以及同一核函数的不同参数，其效果都不尽相同，因此如何根据数据的特性采用哪个核函数以及如何确定核函数的参数成了机器学习中的研究热点。

3.6 SVM参数优化

利用SVM作区分类别试验时，必须将有关参数作调改处理方可获得相对满意的预期类别准确率，其中最最重要的两个是惩罚因子c和核参g。本设计是使用RBF核函数和GA算法并且借助向量机来求得全局最佳解。

3.6.1 径向基核函数

径向基核函数（Radial Basis Function,RBF）是 Powell在?1985?年提出的多维空间插值技术，为沿径向对称变量函数。通常表示成表示成空间某一点x?到中ci?的距离，即欧氏范数，记 k(?x?ci?)。

当x远离ci时函数取值很小。常见的有高斯函数，表示为：

17

K（x?ci）=exp（-?||x-ci||2）, ??12?2?0（3-26）

式中，ci为高斯函数中心，?为高斯函数方差。

3.6.2 遗传算法

遗传算法(Genetic Algorithm，GA) 又称基因进化算法，是美国人创作发明的某类解决的指令，是以生物遗传同进化为基础的，能够满足非简单系统更优秀的自动调节处理的优化技术[7]，该算法开始出现于20世纪中后期，再经过20年的磨练，在1990年前后达到了兴盛的巅峰阶段。

图3-9为遗传算法循环流程图：

开始产生初始种群计算适应度适应度是否达到期望值或迭代次数是否达到最大值Y选择结束交叉计算适应度Y适应度是否达到期望值或迭代次数是否达到最大值交叉

图3-9 遗传算法流程图

将训练集交叉验证后的精准度作为适应度函数值，利用GA算法对SVM进行寻找最佳

因子。流程如图3-10：

18

适应度定标是否满足终止条件YN计算适应度函数选择操作交叉操作变异操作产生初始种群确定最优解确定适应度函数（CV意义下的准确率）解码二进制编码输出最优解（bestc,bestg）开始结束

图3-10 利用GA优化SVM参数（c & g）的算法流程图

3.7 本章小结

本章介绍了SVM的相关理论，概述了SVM的发展、原理技术和优点等，并着重分析了标准向量机在线性划分和非线性划分下的应用，以及核函数和GA对SVM参数的寻优。

第4章 BP神经网络

19

4.1 BP神经网络概述

BP神经网络（BPNN）属于多层前馈网络，各层只同相邻层彼此联接，同层彼此不相联，且层与层没有回馈相连现象存在。当输出层同期望输出出现误差时，进入误差反向传播，依照预测的出入不断地改正不同层的连接值，使得其减小到可以被满意肯定为止。

BP神经网络的拓扑结构如图4-1。

输入值权值X1?ij输出值权值?jkY1X2...Xn输入层隐含层输出层...Ym

图4-1 BP神经网络结构图

4.2 BP神经网络原理及性能

4.2.1 BP神经网络算法流程

BP神经网络流程有：网络的构建、训练和分类。如图4-2：

BP神经网络训练N系统建模构建合适的BP神经网络BP神经网络初始化BP神经网络训练训练结束BP神经网络构建BP神经网络分类BP神经网络分类测试数据Y图4-2 BP

神经网络算法流程图

4.2.2 数据归一化

数据归一化，它用于在网络预测前，对数据信息进行处理，将搜集到的数据信息，进一步全部的变换成介于0到1范围内，回避由于输入输出的数量级不同而导致产生差错比

20

较大。把数据归一化常用以下两种方式： （1）最大最小法。

xk?(xk?xmin)/(xmax?xmin) （4-1）

其中，xmax数据序列最大数，xmin数据序列最小数。 （2）平均数方差法。

xk?(xk?xmean)/xvar（4-2）

其中，xmean数据的平均值，xvar数据的方差。

4.2.3 BP神经网络训练

BP神经网络预测前需要对网络进行训练，步骤流程为：

网络初始化隐含层输出计算输出层输出计算阈值更新权值更新误差计算 图4-3 BP神经网络训练流程图

n（1）隐含层输出H： Hj=f(??x?a)j?1,??2,?…，l （4-3）

ijiji?1（2）输出层预测输出O：Ok=?H?jj?1lij?bkk?1,??2,?…，m （4-4）

（3）预测误差计算e：ek=Yk?Okk?1,??2,?…，m （4-5） （4）权值更新：

m?ij??ij??Hj(1?Hj)x(i)??jkeki?1,??2,?…，n；j?1,??2,?…，l

k?1?jk??jk??Hjekj?1,??2,?…，l；k?1,??2,?…，m （4-6）

（5）阈值更新：

aj?aj??Hj(1?Hj)??jkekj?1,??2,?…，l

k?1m21

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库基于SVM和BP神经网络的手写数字识别(5)在线全文阅读。