信息是信息论中最基本最重要的概念。什么是信息呢？1948年，美国科学家香农（C.E.Shannon）发表了著名的论文《通信的数学理论》，从研究通信系统传输的实质出发，对信息做了科学的定义：信息是事物运动状态或存在方式的不确定性的描述。并提出，信息是可以度量的，设某事件为 ，它发生的概率为 ，则称

 为该事件 的自信息。自信息量就是事件不确定性的度量。这样对于信息系统的研究就有了数学基础。

1.2 通信系统

通信系统是用以完成信息传输过程的技术系统的总称，换而言之就是将来自信源的消息经过编码器转换成信号后通过信道传输，并通过译码器反转换成消息传送给的信宿。由此可知通信系统的组成包括信源、编码器、信道、译码器和信宿，典型的通信系统模型如图1所示：

 图1 通信系统模型

其中，噪声源可以看作是通信系统的一部分，因为实际通信系统中的噪声和干扰是不可避免的。

通信系统的各部分的功能如下：

信源 顾名思义，信源就是消息的来源。通常在通信系统中，收信者在未收到信息之前，对信源发出什么样的消息是不确定的，可用一个样本空间及其概率测度来描述信源。

编码器 编码是把消息变换成信号的措施。编码器输出的是适合信道传输携带消息的信号，信号携带者消息，它是消息的载荷者。编码器可以分信源编码器和信道编码器。

信道 信道的任务是以信号方式传输信息和存储信息，是传送信息的物理通道，是存储信息的载体。

译码器 译码就是把信道输出的编码信号进行反变换。译码器也可分为信源译码器和信道译码器。

信宿 是消息传送的对象，即接收消息的人或机器。

1.3 信道及信道容量

在广义的通信系统中，信道是很重要的一部分。信道的任务是以信号的方式传输信息和存储信息，信道中能够传送或存储的最大信息量，即信道容量。实际的通信系统中，信道的种类很多，根据信道的参数与时间的关系，信道可分为离散信道、连续信道、半离散或半连续信道和波形信道等，本课题中研究的主要是离散信道容量的问题。对信道容量的定量分析，我们必须先理解互信息的概念。互信息 是代表收到某消息y后获得的关于某事件x的信息量，用公式表示就是

 而平均互信息是互信息的统计平均值，即

 平均互信息永远不会取负值，最差的情况是等于0，也就是说信道接收到输出符号Y后不获得任何关于输入符号X的信息量。

根据熵的定义和表达式，也可得平均互信息与熵的关系

 它代表接收到输出符号后平均每个符号获得的关于X的信息量。根据信道容量的定义，求信道容量就是在固定信道的条件下对所有可能的输入概率分布P(x)求平均互信息的极大值，即

 1.4本课题研究背景及历史 。文献综述

1.5论文结构及内容安排

本文第一章主要介绍了本课题研究的背景和历史以及关于信息论的基础知识，第二章侧重分析了有关信道容量的一些定理、原理，并在这些定理之上进行了信道容量的一般方法计算，然后介绍了迭代算法，最后利用迭代算法计算一般离散信道的信道容量。第三章先介绍了本课题的开发工具Visual C++，然后利用该工具先在C++程序中实现了信道容量迭代算法，最后利用MFC类库编程完成一个Windows系统下的信道容量计算软件。

主要设计步骤如下：