1  人工神经网络的发展

    有关神经网络的发展可以追溯到20世纪初期:1943年，生理学家McCulloch和数学家Pitts提出了将布尔代数应用于神经网络的可能性。他们基于神经细胞生物学，在信息处理的角度上提出了形式神经元的数学模型，称为M-P模型[2]。其数学模型描述如下:87430

    其中 为输入输出间的突触时延， 为神经元 的阈值， 为神经元 到 的突触连接系数， 为神经传递函数。该模型首先用数学模型的形式描述了神经元的结构，并且提出了网络结构化方法，验证了神经元的逻辑执行能力，从而翻开了神经科学理论的新篇章[3]。同一时期另一位做出重要贡献的是心理学家Donald Olding Hebb，他在1949年出版的《行为构成》一书中假定了一个可信的定性机制，用于在大脑神经水平上实现自组织学习，提出突触联系强度可变的设想，首次建立了连接权训练算法，称为Hebb算法。

    1957年，计算机学家Frank Rosenblatt开发出了第一台神经式电脑——感知机。他给这第一个人工神经网络提出了一个学习规则，并且证明了给定线性分离类别，感知机将会在一个有限数量的训练实验中产生一个权重向量，将这些类别分离，即著名的感知机收敛定理。从模拟结果看出，感知机可以通过学习改变连接权值，将相似或不同的模型正确地分类，进一步地完善了神经网络模型。同时期Bernard Widrow从最大限度得使训练期内所有模式样本的均方误差最小的角度设计学习训练算法。现代自适应滤波器就是基于这项工作的原理。Adalines和Widrow-Hoff学习规则已经被应用于大量的问题，其中最著名的是倒立摆的控制。

    尽管Bernard已经从分析的角度看这个领域，大部分研究仍是从实验的角度来做的。六十年代，Minsky和Papert用数学的方法证明感知机不能解决高阶谓词问题，使人工神经网络的研究进入低潮，直到80年代，神经网络的研究几乎为零。

    八十年代中期，John Hopfield的工作对证实人工神经网络的可靠性做出了巨大的贡献。他提出了Hopfield神经网格模型，创造性地引入李雅普诺夫能量函数，给出了网络动态稳定性判断，证明了神经网络在一定条件下可以达到稳定状态。

1984年，他又建立了连续时间的Hopfield神经网络模型，其数学模型表达式如下：

    其中 表示神经元的内膜电位值， 为细胞膜输入电容， 为外部偏置电流， 为细胞膜传输电阻， 为模拟突触特征， 为神经元 到 的突触连接强度， 为神经传递函数。其模型的显著优点就是与电子电路存在对应关系，使得它易于用集成电路来实现。

Hopfield网络的出现重新掀起了神经网络研究的热潮。1985年，G。E。Hinton和T。J。Sejnowski提出了一种随机神经网络模型——波耳兹曼（Blotzmann）模型，其学习过程采用统计热力学的模拟退火技术，保证整个系统能够趋于全局稳定。BM网络中单个神经元的输入总和为： ，神经元的实际输出 将以某种概率发生， 只能取1或0，概率 由下式决定： ， ，其中参数温度 的不断下降可以使网络搜索更低能量极小值的能力由强减弱，从而保证BM网络能搜索到能量全局最小，使系统趋于全局稳定。

1986年，Rumelhart和McCelland等人在《Parallel distribution processing》一书中，详尽分析了非线性连续转移函数的多层感知器的误差反向传播（BP）算法，实现了之前Minsky关于多层网络的设想。迄今为止，BP算法已被应用于大量实际问题的解决中。1988年，Linsker对感知机提出了新的自组织理论，并基于Shanon信息论提出了最大互信息理论，开创了基于NN的信息应用理论的新领域。1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与线性适应滤波和数值分析相挂钩。1988年，Vapnik等首先提出了支持向量机(Support vector machines, SVM)，它是一种前馈式神经网络，可应用于非线性映射以及模式分类问题。SVM网络通过寻找最优决策超平面，使得平面两边距离超平面最近的两类样本之间距离最远，从而大大提升网络的分类能力。 人工神经网络的发展研究现状:http://www.youerw.com/yanjiu/lunwen_137317.html