人 工 神 经 网 络 课 程 论 文
阴 雷 鸣
2004级硕士（1）班（200420109196）
人脑是产生自然智能的源泉，是真正出的并行计算机。人工神经网络（Artificial NeuralNetworks， 简称ANN）是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网 络，它是理论化 的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种非算法的信息处 理系统。 人工神经网络吸取了生物神经网络的许多优点，因而有其固有的特点：
（1）、高度并行性：人工神经网络是由许多相同的简单处理单元并联组合而成，使其对信息的处理 能力与效果惊人。
（2）、高度非线性全局作用：人工神经网络每个神经元接受大量其它神经元的输入，并通 过并行网络产生输出，影响其它神经元。网络之间的这种相互制约和相互影响，实现了从输入状态到输出状态空间的非线性映射.从全局的观点来看，网络整体性能不是网络局部性能的简单迭加，而表现出某种集体性的行为。
（3）、良好的容错性与联想记忆功能：人工神经网络通过自身的网络结构能够实现对信息的记忆，而所记忆的 信息是存储在神经元之间的权值中。从单个权值中看不出所存储的信息内容，因而是分布式的存储方式，这使得网络具有良好的容错性，既能进行模式信息处理工作， 有能进行模式联想等的模式信息处理工作，又能进行模式识别工作。
（4）、十分强的自适应、自学习功能：人工神经网络可以通过训练和学习来获得网络的权值与结构，呈现出很强的自学习能力和对环境的适应能力。
1、人工神经网络发展的回顾
一般认为，最早用数学模型对神经系统中的神经元进行理论建模的是美国心理学家麦卡洛克（W.McCulloch）和数学家皮茨（W.Pitts）。他们于1943年建立了MP神经元模型。MP神经元模型首次简单的数学模型模仿出生物神经元活动功能，并揭示了通过神经元的相互
连接和简单的数学计算，可以进行相当复杂的逻辑运算这一令人兴奋的事实1957年，美国计算机学家罗森布拉特（F.Rosenblatt）提出了著名的感知器（Perceptron）模型。它是一个具
有连续可调权值矢量的MP神经网络模型，经过训练可达到对一定输入矢量模式进行识别的目的。1959年，当时的另外两位美国工程师威德罗（B.Widrow）和霍夫（M.Hoff）提出了自适应线性元件（Adaptive linear element,简称Adaline）。它是感知器的变化形式，尤其在权失量的算法上进行了改进，提高了训练收敛速度和精度。他们从工程实际出发，不仅在计算机上模拟了这种神经网络，而且还做成了硬件，并将训练后的人工神经网络成功地用于的小通讯中的回波和噪声，成为第一个用于解决实际问题的人工神经网络。1969年，人工智能的创始人之一明斯基（M.Minsky）和帕伯特（S.Papert）在合著的《感知器》一书中对以单层感知器为代表的简单人工神经网络的功能及局限性进行了深入分析。他们指出，单层感知器只能进行线性分类，对线性不可分的输入模式无能为力，而其解决的办法是设计出具有隐含层的多层神经网络，但是要到一个有效修正权矢量的学习算法并不容易。这一结论使得当时许多神经网络研究者感到前途渺茫，客观上对神经网络理论的发展起了一定的消极作用。美国学者霍普菲尔德（J.Hopfield）对人工神经网络研究的复苏起到
了关键性的作用。1982年，他提出了霍普菲尔的网络模型，将能量函数引入到对称反馈网络中，是网络稳定性有了明显的判据，并利用提出的网络的神经计算能力来解决条件优化问题。另外，霍普菲尔德网络模型可以用电子模拟线路来实现，从而由此还兴起了对新一代电子神经计算机的研究。另一个突破性的研究成果是儒默哈特（D.E.Rumelhart）等人在1986年提出的解决多层神经网络权值修正的算法——误差反向传播法，简称BP算法，到了解决明斯基和帕伯特提出的问题的办法，从而给人工神经网络增添了活力。
2、人工神经网络的应用
人工神经网络的实质反映了输入转化为输出的一种数学表达式，这种数学关系是由网络的结构确定的，网络的结构必须根据具体问题进行设计和训练。学习人工神经网络的关键在于掌握生物神经网络与人工神经网络建模的联系，人工神经网络的数学基础，以及人工神经网络的应用。
以下根据一些文献的介绍，列出神经网络在一些主要领域的应用情况：
1、模式信息处理和模式识别
高中英语选修课
所谓模式，从广义上说，就是事物的某种特性类属，如：图像、文字、声纳信号、动植物种类形态等信息。模式信息处理就是对模式信息进行特征提取、聚类分析、边缘检测、信号增强噪声抑制、数据压缩等各种变换。模式识别就是将所研究客体的特性类属映射成“类别号”，以实现对客体特定类别的识别。人工神经网络特别适宜解算这类问题，形成了新的模式信息处理技术。它在各领域的广泛应用是神经网络技术发展的重要侧面。这方面的主要应用有：图形符号、符号、手写体及语音识别，雷达及声纳等目标的识别，药物构效关系等化学模式信息辨识，机器人视觉、听觉，各种最近相邻模式聚类及识别分类等等。 （1）、最优化问题计算
人工神经网络的大部分模型是非线性动态系统，若将计算问题的目标函数与网络某种能量函数对应起来，网络动态向能量极小值方向移动的过程则可视作优化问题的解算过程，稳态点则是优化问题的局部的或全局最优动态过程解。这方面的应用包括组合优化、约束条件优化等一类求解问题，如：任务分配、货物调度、路径选择、组合编码、排序、系统规划、交通管理以及图论中各类问题的解算等。
（2）、复杂控制
神经网络在诸如机器人运动控制等复杂控制问题方面有独到之处。较之传统数字计算机的离散控制方式，更适宜于组成快速适时自适应控制系统。这方面主要应用是：多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。
（3）、通信
神经网络的自学习和自适应能力使其成为对各类信号进行多用途加工处理的一种天然工具，尤其在处理连续时序模拟信号方面有很自然的适应性。这方面的主要应用有：自适应滤波、时序预测、谱估计和快速傅里叶变换、通信编码和解码、信号增强和降噪、噪声相消、信号特增检测等。神经网络在作弱信号检测、通信、自适应滤波等方面的应用尤其引人注目，已在许多行业得到运用。
二、人工神经网络的基本结构与模型
1、神经细胞以及人工神经元的组成
神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其它细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分：细胞体、树突和轴
突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互连接触点称为突触。神经元简化结构人们正是通过对人脑神经系统的初步认识，尝试构造出人工神经元以组成人工神经网络系统来对人的智能，甚至是思维行为进行研究；尝试从理性角度阐明大脑的高级机能。人工神经元的主要结构单元是信号的输入、综合处理和输出。人工神经元之间通过互相连接形成网络， 称为人工神经网络。目前多哦属人工神经网络的构造大体上都采用如下一些的原则：
（1）、有一定数量的基本单元分层联接构成；
（2）、每个单元的输入、输出信号以及综合处理内容都比较简单；
（3）、网络的学习和知识存储体现在各单元之间的联接强度上。
2、人工神经元模型
作为NN的基本单元的神经元模型，它有三个基本要素：
（1）、一组连接（对应于生物神经元的突触），连接强度有个连接上的权值表示，权值为正表示激活，为负表示抑制。
（2）、一个求和单元，用于求取各输入信号的加权和（线性组合）。
（3）、一个激活函数，起映射作用并将神经元输出幅度限制在一定范围内。
此外还有一个阈值qk（或偏置bk=-qk）。 耿福明
x1 w11 求和 激活函数
x2 wk2 uk yk
xr wkr
阈值qk
以上作用分别用数学式表达出来：
式中x1、x2、…、xr为输入信号，wk1、wk2、…、wkr为神经元k的权值， 为线性组合结
办公自动化系统论文
果，qk为
阈值，f(.)为
激活函数，yk为神经元k的输出。
激活函数f(.)通常有以下几种形式：
（1）、阈值函数：
（2）、分段线性函数： ，它类似于一个放大系数为1的非线性放大器。
（3）、sigmoid函数： 最常用的函数形式为 ，参数α>0可控制其斜率。另一种常用的是双曲正切函数
3、神经元网络结构模型
从层次结构看，人工神经网络可分为单层神经网络和多层神经网络；从连接方式看，人工神经网络主要有两种：
前馈型网络和反馈型网络。
1、单层神经元网络
阴霾天气将两个或更多的简单的神经元并联起来，是每个神经元具有相同的输入矢量X，即可组成一个神经元层，其中每个神经元产生一个输出，图3给出了一个具有r个输入分量，k个神经元组成的单层神经元网络。一般情况下，输入分量数目r与层神经元数目k不相等，即r≠k。网络模型的网络权矩阵为：
该网络的输出矢量为： Ak′1=F(Wk′r*Xr′1+Bk′1)
天津百货大楼肺炎其中，F(.)表示激活函数，公式中的字母下标给出了矢量矩阵所具有的维数；权矩阵W元素中的行表示神经元的位数，列表示输入失量的位数，如W12表示来自第2个输入元素到第1个神经元之间的联接权值。当有q组r个输入元素作为网络的输
x1 w11 u1 y1
b1
x2 y2
b2
xr uk yk
wkr 安徽卫视中秋晚会
bk
单层神经元网络模型结构入时，输入矢量X则成为一个维数为r′q的矩阵。此时输出矢量A为一个维数为k′q的矩阵Ak′q。
2、多层神经网络
将两个以上的单层神经网络级联起来则组成多层神经网络。每层网络都有一个权矩阵W，一个偏差矢量B和一个输出矢量A。多层网络的每一层起着不同的作用，最后一层为网络的输出层，所有其它层称为隐含层。一个三层的神经网络结构如图所示：
从图上看，在多层网络中，每一隐含层的输出都是下一层的输入。特别值得强调的是，在设计多层网络时，隐含层的激活网络应采用非线性的，否则多层网络的计算能力并不比单层网络更强。
3、反馈网络
前馈网络的特点是：信号的流向是从输入通向输出。而反馈网络的主要不同点表现在它的输出信号通过与输入连接而返回到输入端。一个具有k个神经元的典型的单层反馈网络如图所示：
