偏置 bk 的作用是对神经元模型中的线性组合器的输出端 uk 作仿射变换，表达如 式(3-3)：

图(3-3) 偏置产生的仿射变换。当 uk =0 时，vk  = bk

偏置 bk 是神经元 k 的外部参数，那么我们可以将 bk 当做一个恒定的输入量放 入式(3-2)中考虑。结合式(3-1)和(3-2)，容易得到：

在式(3-4)中，我们新增一个突触，其输入为 x0=+1，权值为 wk0=bk，那么就 得到了新的神经元 k 模型如图(3-4)：

图(3-4) 新的神经元非线性模型

常用的激活函数有三种：阈值函数、分段线性函数、sigmoid 函数。下面分

别简单介绍这三种函数。 1。阈值函数是最简单的激活函数。顾名思义，此函数给定一个阈值，若输入

高于阈值则输出 1，否则输出 0。在工程中这种函数一般称为 Heacidise 函数， 用数学语言表达如式(3-6)：

2。分段线性函数的表达式如式(3-7)：

这种形式的激活函数是对非线性放大器的近似。

3。sigmoid 函数。此函数的图形为 s 形，是最常用的激活函数。由于它是严 格的递增函数，在线性和非线性行为之间都有较好的平衡性。其中一个例子是 logistic 函数，其定义如式(3-8)：

v 1

1expav

式(3-8)

式中 a 是倾斜参数，改变 a 就能改变整个曲线的倾斜程度。在实际情况中， 原点的斜度为 a/4，而极限情况下，倾斜参数区域无穷，那么 sigmoid 函数就变 成了简单地阈值函数。阈值函数的取值只有 0 和 1 两种，而 sigmoid 函数的值为 [0,1]区间中的任意点。还有一点非常重要，即 sigmoid 函数时可微分的，而阈 值函数不可微，这对整个神经网络的运行会有很大的影响。

三种激活函数的曲线如图(3-5)所示。

图(3-5) 三种激活函数的曲线

3。2 神经网络结构类型

神经网络的网络结构可分为三种：单层前馈网络、多层前馈网络和递归网络。 1．单层前馈网络 在网络中，神经元以层的形式联系在一起。在最简单的分层网络中，源节点

构成输入层，输入的数据直接映射到输出层。也就是说，这个网络是无圈的或前 馈的，即数据只能从输入节点通往输出节点。设一个单层前馈网络输入层有 4 个节点，输出层有 4 个节点，则其结构如图(3-6)所示。这样的网络通常被称为 单层网络，其中的“单层”指的是计算节点（神经元）的输出层数。我们不把包 含源节点的输入层算在内，因为在这一层中没有进行计算。

2．多层前馈网络

图(3-6) 单层前馈网络结构

前馈网络的第二种网络有一层或多层隐藏节点层，相应的计算节点被称作隐 藏神经元。隐藏神经元的功能是以某种方式介入外部输入信号和输出结果之中。 在网络中增加一个或多个隐藏层可以引出其高阶统计特性：即使网络为局部连接， 由于引入了额外的突触连接和额外的神经交互作用，就可以使网络获得一个全局 关系。在输入层节点数很大时，这一特性非常有价值。

输入层的节点提供了隐藏层神经元的输入信号（刺激），而第二层的神经元 又给第三层的神经元提供了输入信号，这样信号就能一直传递下去直到输出层。 通常，每一层的输入都是上一次的输出量，最后的输出层则给出相对于源节点的 网络输出。图(3-7)则描述了一个 3 层的前馈网络，其输入层有 4 个节点，隐藏 层有 4 个节点，输出层有 3 个节点。文献综述

图(3-7) 多层前馈网络结构