1．1  信息的广义概念

目前，哲学家和科学家普遍认为，物质、能量和信息是物质世界的三大支柱，是科学历史上三个最重要的基本概念。信息具有以下主要特征：

（1）信息、物质、能量统一于事物一身，信息和物质一起规定着事物的功能。

（2）信息的存在具有普遍性、无限性、动态性、时效性和相对独立性。

（3）信息具有可传递性、可转换性、可扩散性、可复制性、可存储性和可分割性，因而具有可共享性。

（4）信息具有可度量性。信息量守恒是客观事物固有的特性。信息不因认识而消失，也不因传递、复制和扩散而增值。

1．2  通信系统模型

为了便于研究信息传输和处理的共同规律，我们将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如图1.1所示。

图1.1 通信系统模型

该通信系统分为下列五部分：

（1）信源

信源是产生消息和消息序列的源。信源可能出现的状态（即信源输出的消息）是随机的、不确定的，但又有一定的规律性。

（2）编码器

编码是把消息变换成信号的措施，而译码就是编码的反变换。编码器输出的是合适信道传输的信号，信号携带的着消息，它是消息的载荷者。一般编码器可分为两种，即信源编码器和信道编码器。

（3）信道

信道是指通信系统把载荷消息的信号从甲地传输到乙地的媒介或是通道。

（4）译码器

译码就是把信道数出的编码信号（已叠加了干扰）进行分变换，一般认为这种变换是可逆的。译码器一般可以分为信源译码器和信道译码器。

（5)信宿

信宿是消息传送的对象，即接收消息的人或机器。

2  相关基础理论及知识

2．1  香农信息的定义和度量

香农在1948年发表了一篇著名的论文，《通信的数字理论》。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的描述。

图2.1 香农定义的通信系统框图

香农将各种通信系统概括成如图2.1所示的框图。在各种通信系统中，其传输的形式是消息。但消息传递过程的一个最基本、最普通却又不十分引人注意的特点是：收信者在收到信息以前是不知道消息的具体内容。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的具体消息；他更无法判断是描述这种状态还是那种状态。再者，即使收到消息，由于干扰的存在，他也不能断定所得到的消息是否正确和可靠。总之，收信者存在着“不知”、“不确定”或“疑问”。通过消息的传递，收信者知道了消息的具体内容，原先的“不知”、“不确定”和“疑问”消除或部分消除了。因此，对收信者来说，消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。如果不具备这样一个特点，那就根本不需要通信系统了。

由于主、客观事物的运动状态或存在状态是千变万化的、不规则的、随机的，所以在通信以前，收信者存在“疑义”和“不知”。如果在传递过程中存在干扰，使信息完全模糊不清，收信者收到信息以后，原先所具有的不确定性一点也没有减少，他就没有获得任何信息。如果干扰使信息发生部分差错，使收信者原先的不确定性减少了一些，但没有全部消除，他就获得了一部分信息。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。原先的不确定性消除得越多，获得的信息就越多。如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何信息。由此可见，信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。