图(3-7)的网络也可以称之为完全连接网络，这是指相邻层的任意节点之间 都有连接。如果不是这样的，则称为部分连接网络。

3．递归网络 递归网络与前馈网络不同，它至少有一个反馈环。反馈环的存在对网络的学

习能力和性能都有巨大的影响。并且由于反馈缓解涉及包含延迟元素（记为 z-1） 的特殊分支，这导致了网络具有非线性的动态行为。

3。3 神经网络设计规则及一般步骤

在神经网络算法中有“知识”这个术语，下面给出它的一般定义（Fishchler and Firschein，1987）：知识是人或机器储存起来以备使用的信息或模型，用来 对外部世界作出解释、预测和适当的反应。

神经网络的主要任务是对外部提供的知识进行学习，并使这个模型能够适应 真实环境以能够对特定目标进行进行应用。现实世界的知识由两类信息组成：

1．现实世界中真实已知事物的状态。这种形式的知识被称为先验信息。

2．对世界已知事物的观察，这些观察由传感器获得。一般来说，由于传感 器和系统不稳定，这些观察是有噪声的。这些观察将作为神经网络的训练集加入 到神经网络的学习过程中。

训练集里的元素可以是有标记的，也可以是没有标记的。元素标记是指每个 输入信号都有相配对的期望响应；无标记的元素则不具有对应的期望。无论训练 集的元素有无标记，它们都能训练网络学习心得环境知识。

一组输入信号和响应的期望响应组成了神经网络的训练集或训练样本。通常 训练集中的样本元素是实际对象的大量变形，代表了真实情况下可能采集到的实 际信号。有了这些样本后，可以按以下步骤设计网络：

1．选择一个合适的结构，将输入层节点数设置为数字信号的位数，输出层 节点数量设置为训练集中不同类型的数量。运用适当的算法，以样本的一个子集 对网络进行训练。这个阶段称为神经网络的学习阶段。

2．用新的样本来检验训练好的网络的性能，网络的性能标准以分类的正确 率来衡量。这一阶段称为泛化。

神经网络分类设计和传统的信息分类器有本质上的区别。传统的信息处理方 式下我们通常需要对现实环境建立一个精准的数学模型，之后我们利用真实的数

据验证这个模型，在以此为基础建立详细的设计。相反，神经网络直接基于实际 的数据，使用实际的样本训练模型。因此，神经网络算法提供了内嵌于环境的隐 性模型，实现了对信息分类的功能。

在神经网络结构中，外部环境的知识表示由网络的自由参数（突触权值和偏 置）定义。这种知识表示的形式是神经网络设计的基础，也是其性能的关键项。 对于知识，神经网络中有 4 条通用的规则：

1．相似的类别中相似的输入信号应归于相似的表示，即相似度高的输入可 归为同一类。

2．网络对可分离为不同种类的输入项应先输出差别很大的输出。

3．若某一特征非常重要，那么表示这个特征需要涉及大量神经元。

4．先验信息和不变性应当在设计中得到体现，这样能使网络不需要学习他 们就能简化其设计。

对以上规则在此做一些简单的解释。规则 1 中衡量相似性的方法很多，常用 的一种方法是计算对象间的欧几里得距离。欧几里得距离越近，其相似程度就越 高。规则 2 可看作规则 1 的相反情况。规则 3 显而易见，复杂的信息处理需要大 量的神经元参与计算。规则 4 在实际设计中非常重要，因为这一规则会使得网络 具有特殊结构。应用了规则 4 的设计常常会使网络变为不完全连接网络，这些特 殊网络用于调节的自由参数较少，故训练更快且推广性更强，信息传输率也会得 到提高。并且相比于全连接网络，特殊网络的建设规模较低，成本也就较小。 3。4 BP 神经网络的数学推导