偏置 bk 的作用是对神经元模型中的线性组合器的输出端 uk 作仿射变换,表达如 式(3-3):

图(3-3) 偏置产生的仿射变换。当 uk =0 时,vk  = bk

偏置 bk 是神经元 k 的外部参数,那么我们可以将 bk 当做一个恒定的输入量放 入式(3-2)中考虑。结合式(3-1)和(3-2),容易得到:

在式(3-4)中,我们新增一个突触,其输入为 x0=+1,权值为 wk0=bk,那么就 得到了新的神经元 k 模型如图(3-4):

图(3-4) 新的神经元非线性模型

常用的激活函数有三种:阈值函数、分段线性函数、sigmoid 函数。下面分

别简单介绍这三种函数。 1。阈值函数是最简单的激活函数。顾名思义,此函数给定一个阈值,若输入

高于阈值则输出 1,否则输出 0。在工程中这种函数一般称为 Heacidise 函数, 用数学语言表达如式(3-6):

2。分段线性函数的表达式如式(3-7):

这种形式的激活函数是对非线性放大器的近似。

3。sigmoid 函数。此函数的图形为 s 形,是最常用的激活函数。由于它是严 格的递增函数,在线性和非线性行为之间都有较好的平衡性。其中一个例子是 logistic 函数,其定义如式(3-8):

v 1

1expav

式(3-8)

式中 a 是倾斜参数,改变 a 就能改变整个曲线的倾斜程度。在实际情况中, 原点的斜度为 a/4,而极限情况下,倾斜参数区域无穷,那么 sigmoid 函数就变 成了简单地阈值函数。阈值函数的取值只有 0 和 1 两种,而 sigmoid 函数的值为 [0,1]区间中的任意点。还有一点非常重要,即 sigmoid 函数时可微分的,而阈 值函数不可微,这对整个神经网络的运行会有很大的影响。

三种激活函数的曲线如图(3-5)所示。

图(3-5) 三种激活函数的曲线

3。2 神经网络结构类型

神经网络的网络结构可分为三种:单层前馈网络、多层前馈网络和递归网络。 1.单层前馈网络 在网络中,神经元以层的形式联系在一起。在最简单的分层网络中,源节点

构成输入层,输入的数据直接映射到输出层。也就是说,这个网络是无圈的或前 馈的,即数据只能从输入节点通往输出节点。设一个单层前馈网络输入层有 4 个节点,输出层有 4 个节点,则其结构如图(3-6)所示。这样的网络通常被称为 单层网络,其中的“单层”指的是计算节点(神经元)的输出层数。我们不把包 含源节点的输入层算在内,因为在这一层中没有进行计算。

2.多层前馈网络

图(3-6) 单层前馈网络结构

前馈网络的第二种网络有一层或多层隐藏节点层,相应的计算节点被称作隐 藏神经元。隐藏神经元的功能是以某种方式介入外部输入信号和输出结果之中。 在网络中增加一个或多个隐藏层可以引出其高阶统计特性:即使网络为局部连接, 由于引入了额外的突触连接和额外的神经交互作用,就可以使网络获得一个全局 关系。在输入层节点数很大时,这一特性非常有价值。

输入层的节点提供了隐藏层神经元的输入信号(刺激),而第二层的神经元 又给第三层的神经元提供了输入信号,这样信号就能一直传递下去直到输出层。 通常,每一层的输入都是上一次的输出量,最后的输出层则给出相对于源节点的 网络输出。图(3-7)则描述了一个 3 层的前馈网络,其输入层有 4 个节点,隐藏 层有 4 个节点,输出层有 3 个节点。文献综述

图(3-7) 多层前馈网络结构

上一篇:AT89C52单片机的智能手杖设计+电路图+程序
下一篇:电磁耦合供电的神经刺激器设计+程序

STC89C52单片机的温度控制系统设计+电路图

FAST风速观测器的设计与实验验证

CCHP考虑热网特性的综合能源系统的研究

基于状态估计的控制系统...

LQG四分之一汽车悬架系统的主动抗扰控制

MATLAB的GUI倒立摆控制系统设计与实现

基于RS-485的电梯呼梯装置设计+电路图

我国风险投资的发展现状问题及对策分析

LiMn1-xFexPO4正极材料合成及充放电性能研究

ASP.net+sqlserver企业设备管理系统设计与开发

网络语言“XX体”研究

老年2型糖尿病患者运动疗...

安康汉江网讯

新課改下小學语文洧效阅...

互联网教育”变革路径研究进展【7972字】

麦秸秆还田和沼液灌溉对...

张洁小说《无字》中的女性意识