1.2  离散信道容量算法的研究现状

2  相关的知识介绍

2.1  信息论

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源-信道隔离定理相互联系。

香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》(通信的数学理论)作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中,香农给出了信息熵(以下简称为“熵”)的定义: 来~自^优尔论+文.网www.youerw.com/

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量,其中去除了由消息的固有结构所决定的部分,比如,语言结构的冗余性以及语言中字母、词的使用频度等统计特性。信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息 (Mutual Information)是另一有用的信息度量,它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为:

其中 是联合熵(Joint Entropy),其定义为:

2.2  信道容量的概念

信道容量是信道的一个参数,反映了信道所能传输的最大信息量,其大小与信源无关。对不同的输入概率分布,互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后,信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布,但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源,对不同的试验信源,互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。信道容量有时也表示为单位时间内可传输的二进制位的位数形式予以表示,简记为bps。离散信道:它是指输入和输出的随机序列的取值都是离散的信道,也称数字信道。由平均互信息量 是输入随机变量X的概率分布 的型凸函数。因此对于一个固定的信道,总存在一种信源(某种概率分布 ),使传输每个符号平均获得的信息量最大。也就是每个固定信道都有一个最大的信息传输率。定义这个最大的信息传输率为信道容量C

上一篇:FPGA小型化实时视频处理电路设计与实现
下一篇:竞争的无线传感网络MAC协议研究

激光通信中的大气光学信道模型仿真

OFDM系统B4G移动通信系统信...

Matlab离散时间网络化控制系统故障检测策略

MIMO-OFDM系统中的信道估计方法研究

博弈论的最大化安全容量技术研究

MIMO-OFDM水声通信同步与信道估计研究

OFDM全双工IQ不平衡OFDM系统...

张洁小说《无字》中的女性意识

新課改下小學语文洧效阅...

安康汉江网讯

ASP.net+sqlserver企业设备管理系统设计与开发

麦秸秆还田和沼液灌溉对...

网络语言“XX体”研究

互联网教育”变革路径研究进展【7972字】

LiMn1-xFexPO4正极材料合成及充放电性能研究

老年2型糖尿病患者运动疗...

我国风险投资的发展现状问题及对策分析