基于SVM和BP神经网络的手写数字识别

摘 要

科技发展日新月异，智能识别推陈出新。如今是信息化时期，数字识别在很多智能领域上运用广泛，拥有普遍的使用远景，因此探索这项技术有其重要的实际意义。由于手写数字在写法上千差万别，且数字间字形差别相对较小，使得识别系统的开发具有很大的挑战性。

当前手写数字识别采用的技术有Bayes判别法、决策树法、神经网络和支持向量机（Support Vector Machines，SVM）等。诞生于20世纪90年代的SVM技术是机器学习研究的热点，因其良好的泛化性能成为了数字识别领域的热门方法。

本开发系统借助MATLAB平台实现完成SVM的手写数字识别功能，同时与BP神经网络的识别作对比，并利用了MNIST数据库作扩展与分析。对识别的结果进行探究，得出使识别精准度出现误差的主要因素有手写体数字的规范程度、笔画字迹粗细和清晰，以及训练样本的数量等。

关键词 手写数字识别；神经网络；SVM

Abstract

I

Technological development changes rapidly, and intelligent recognition innovates constantly. In the information era, numeral recognition has broad application prospects in many pattern areas with a common vision, so it is of great practical significance to explore this technology. As a result of handwritten numeral vary widely in the wording and digital shape difference is relatively small, making recognition system development is a great challenge.

At present, Bayes discriminant analysis, decision tree method, neural network and support vector machine (referred to as SVM) are the main methods of recognition of handwriting. SVM technology, which was born in 1990s, is a hot topic in machine learning research. Because of its good generalization performance, it has become a popular method in the field of numeral recognition.

The system uses the MATLAB to realize the handwritten numeral recognition based on SVM, at the same time with the recognition of BP neural network for comparison, and using the MNIST database to extend and analysis. To research the results of recognition, it comes to conclusion that the main factors affecting the accuracy of the recognition include the specification of the handwritten numeral, the thickness and the clarity of the strokes, and the number of the training samples.

Keywordshandwritten numeral recognition; neural network; SVM

II

目录

摘要 ...................................................................................................................................................................... I Abstract ............................................................................................................................................................ I

第1章绪论 ....................................................................................................................................................... 1

1.1 课题研究的背景和意义 ............................................................................................................... 1 1.2 国内外研究现状及分析 ............................................................................................................... 1 1.3 课题研究的主要内容 .................................................................................................................... 1 1.4 本章小结 .......................................................................................................................................... 2 第2章手写数字识别综述 .......................................................................................... 错误！未定义书签。

2.1 预处理技术 .................................................................................................... 错误！未定义书签。

2.1.1 图像二值化 ....................................................................................... 错误！未定义书签。 2.1.2 图像去噪锐化 ................................................................................... 错误！未定义书签。

2.1.3 图像分割细化 ................................................................................... 错误！未定义书签。 2.1.4 图像归一化 ....................................................................................... 错误！未定义书签。 2.2 特征提取技术 ................................................................................................................................. 3 2.3 手写数字识别方法 ........................................................................................................................ 4

2.3.1 决策树法 .............................................................................................................................. 4 2.3.2贝叶斯判别法 ...................................................................................................................... 5 2.3.3 神经网络 .............................................................................................................................. 7 2.3.4 支持向量机 ......................................................................................................................... 9 2.4 本章小结 .......................................................................................................................................... 9 第3章支持向量机 ......................................................................................................................................... 9

3.1 SVM概述 ............................................................................................................................................ 9

3.1.1 VC维 .................................................................................................................................... 10 3.1.2 结构风险最小原理 .......................................................................................................... 10 3.2 SVM的原理 ...................................................................................................................................... 11

3.2.1 二分类支持向量机 .......................................................................................................... 12 3.3 SVM的优缺点 ................................................................................................................................ 13 3.4 标准支持向量机 ........................................................................................................................... 13

3.4.1 线性分划 ............................................................................................................................ 13 3.4.2 非线性分划 ....................................................................................................................... 15 3.5 核函数 ............................................................................................................................................. 16 3.6 SVM参数优化 ................................................................................................................................ 17

3.6.1 径向基核函数 ................................................................................................................... 17 3.6.2 遗传算法 ............................................................................................................................ 18 3.7 本章小结 ........................................................................................................................................ 19

III

第4章 BP神经网络 .................................................................................................................................... 19

4.1 BP神经网络概述 .......................................................................................................................... 20 4.2 BP神经网络原理及性能 ............................................................................................................ 20

4.2.1 BP神经网络算法流程 .................................................................................................... 20 4.2.2 数据归一化 ....................................................................................................................... 20 4.2.3 BP神经网络训练 ............................................................................................................. 21 4.2.4 BP神经网络参数 ............................................................................................................. 22 4.2.5 BP神经网络函数 ............................................................................................................. 23 4.3 本章小结 ........................................................................................................................................ 24 第5章手写数字识别的设计和实现 ....................................................................................................... 24

5.1 基于SVM的手写数字识别 ......................................................................................................... 24

5.1.1 设计目标 ............................................................................................................................ 25 5.1.2 样本图片选取 ................................................................................................................... 25 5.1.3 设计与实现 ....................................................................................................................... 27 5.2 BP神经网络的手写数字识别 ................................................................................................... 32

5.2.1 设计目标 ............................................................................................................................ 32 5.2.2 样本图片选择 ................................................................................................................... 33 5.2.3 设计与实现 ....................................................................................................................... 34 5.2.4 结果分析 ............................................................................................................................ 39 5.3 MNIST数据库的扩展 ................................................................................................................... 39

5.3.1 样本图片获取 ................................................................................................................... 39 5.3.2 样本图片处理 ................................................................................................................... 40 5.3.3 样本训练及识别 .............................................................................................................. 40 5.3.4 结果分析 ............................................................................................................................ 42 5.4 实验结果分析 ............................................................................................................................... 43 5.5 系统调试及问题解决 .................................................................................................................. 43 5.6 本章小节 ........................................................................................................................................ 44

结论 ................................................................................................................................................................... 44 参考文献 ......................................................................................................................................................... 46 致谢 ................................................................................................................................................................... 46 附录 ................................................................................................................................... 错误！未定义书签。

IV

第1章 绪论

1.1 课题研究的背景和意义

数字识别主要有印刷体与手写体识别，由于存在人体差异和个人习惯的不同，即使是同一个数字，每个人书写的情况都会千差万别。手写数字识别技术在不同的数字数据库实验中已得到了较为满意的识别辨认效果，然而将其使用到手写文档中，其识别的精准度仍难以达到实际要求。

手写数字是借助电子仪器去自动辨别人手写出来的数字。尽管由于笔画、字型等因素还未能在计算机上做到全部都正确识别，但其在各方面应用早已十分广泛，多存在于办公和教学自动化、银行票据自动识别、邮政自动分拣等技术领域当中。

在日常生活和工作中，每天都会接触大量的数字信息，尤其是处理各种各样的数字文档工作，如账单、邮编、电话号码、物流编号等，一些极其关键的数字信息的误判往往极易造成巨大损失，在要求较为苛刻的国防、金融等领域更是不能出现丝毫差错。如何利用现代化技术，使人们从这些繁重且细致繁琐的工作中解放出来，提高识别正确率、记录准确率及其效率已成为一个亟待解决的问题。

智能识别在当代科技应用中日趋普及，科学技术以及物质需求的持续抬高，数字识别的准确率和速度都有了更大的提升。数字不仅构建了数学基础，也承载着信息内容；不仅在数学上发挥着作用，也是人们沟通、交流和学习的主要工具。由数字组合成的各种代码或符号应用广阔，是人类生活和科技进步不可或缺的组成部分，基于这个原因，手写数字的智能识别就具有重大的实际意义[1]。

1.2 国内外研究现状及分析

20世纪初期，德国科学家运用光学相互对比技术第一次实现了机器识别文字符号；50年代起，西方国家为了更好进行信息的处理、保存和保密，开始着手对西文光学字符识别（OCR）的研究；20世纪中叶，全球很多国家开始了探索数字识别。美国科技巨头IBM公司最早开发了相关的产品，这款产品只能认识制定好的字符所印刷出来的文字或符号。1970年左右，我国初步对符号的识别作综合探索。清华大学在1989年推出了OCR软件，着手对汉字和数字的识别进行研究，并在手写汉字和数字识别等领域上取得了巨大的成功。

1963年, Vapnik首次提出了支持向量（SV）方法；历经20年磨练，美国贝尔实验室研究者随后在有限样本的机器学习问题上挖掘了支持向量机（SVM）。跟随科技发展和国外研究的步伐，我国的SVM理论研究在性能优化和训练识别上也取得了一定进展。

历经几十年，数字识别技术在不断的改进下已经得到了很大进步，判断准确度也越来越高。利用BP神经网络和支持向量机作识别已经在各类数据库里获得了较好的成果。分析目前在这方面取得的进展，比对海内外研究的成果和关注的方向，手写数字识别需深入研究解决存在的两大难点，即速度与准确性都需达到更高的水平[2]。

假以时日若对该算法进行相应改进及优化，该技术就能获得更长远的进步。

1.3 课题研究的主要内容

1

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说综合文库基于SVM和BP神经网络的手写数字识别在线全文阅读。