2.1 通信系统概况

    通信系统是用以完成信息传输过程的技术系统的总称，是指完成信息传输过程的全部设备和传输媒介。

通信系统一般由信源、信宿、和信道组成，如图2-1所示。信源是原始信号的来源，其作用是将消息转换成相应的电信号。信源可能出现的状态是随机的，不确定的，但又有一定的规律性。信源的输出是消息，消息是具体的，但它不是消息本身。消息携带着信息，消息是信息的表达者。信源编码器是把信源发出的消息如语言、图像、文字、指令等转换成为二进制形式的信息序列，并且为传输有效，还降低一些信息的冗余度。信宿即消息传送的对象，是原始信号的最终接收者，其作用是把接收端恢复出来的原始电信号转换成相应的消息。信道是发送设备和接收设备之间用于传输信号的传输媒介。信道分有线信道和无线信道。

通信系统模型

    通信系统可以分为数字通信系统和模拟通信系统。目前，模拟通信系统正在逐步被数字通信系统所取代。

2.2 压缩编、译码的基本理论与方法

   (1)编码的基本概念

编码是把消息变换成信号的一种措施，而译码则是编码的反变换。编码主要分为信源编码和信道编码，信源编码是对信源符号进行的变换，它以提高通信的有效性为目的，为了减少或消除信源冗余度而进行的信源符号变换。具体来说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所携带的平均信息量最大，同时又能保证无失真地恢复成原来的符号序列。信道编码则是为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在信源编码的基础上，按一定规律加入一些监督码元，以实现纠错的一种编码。

(2)压缩编码及其相关定理

本课题主要研究的则是信源编码。由于信源符号之间存在分布的相关性和不均匀性，使得信源存在很多的冗余度，信源编码的主要任务就是减少冗余，并对信源输出的消息进行适当的处理和变换，目的就是为了提高信息传输的效率。所以，信源编码又称为信源压缩编码。而译码则是把信道输出的已经叠加了干扰的编码信号进行反变换，一般我们认为这种变换是可逆的。通信系统的模型主要就是由编码器和译码器构成的，本课题研究这样一个通信系统，目的就是为了找到信息传输过程中的规律，合理利用压缩编码、解压缩译码以提高信息传输有效性的、可靠性、认证性和保密性，使得信息传输系统达到最优化。

信源编码的基本方法有两个：一是使符号序列中的各个符号尽可能地互相独立，就是解除相关性；二是使编码过程中各个符号出现的概率尽可能地相等，即概率均匀化。

信源编码主要可以分为无失真信源编码和限失真信源编码两种。无失真信源编码主要适用于数字信号或离散信源，如文本、表格及工程图纸等信源，这类信源都要求进行无失真的数据压缩，就是说要完全能够无失真地可逆恢复。限失真信源编码则主要适用于波形信源或波形信号（即模拟信号），如语音、电视图像、彩色静止图像等信号，它们不要求完全可逆地恢复，而是允许在一定限度内有失真地压缩。总的来说，无论是无失真信源编码还是限失真信源编码，两者的目的都是为了用较少的码率来传送较多的信息，也即增加单位时间内传送的信息量，从而可以提高通信系统传送信息的高效性。

为了研究对数字信号或离散信源的压缩编码，如表格、文本及工程图纸等信源，香农于1984年就在论文中提出了无失真变长信源编码定理，即香农第一定理：离散无记忆信源S的N次扩展信源 ，它的熵为 ,并有码符号 。对信源 进行编码，总能够找到一种编码方法，构成唯一可译码，使信源S中的每个信源符号所需要的平均码长都满足 ，或者 。当 时，得到 ， 。其中， 是 所对应的码字长度，因此 是无记忆扩展信源 中每个符号 的平均码长，可见 仍是信源S中每一个信源符号所需要的平均码长。1956年，麦克米伦证明了唯一可变长码的克拉夫特不等式。关于无失真信源的编码方法，1952年，费诺还提出了一种费诺码。同年，霍夫曼又构造了一种霍夫曼编码方法，同时他还证明了霍夫曼码是最佳码。