《信息论和编码理论》介绍信息论和编码理论,包括信息论中仙农的几个重要定理,如:信源的熵、信息的压缩、信息论中的信道编码定理、信息论在实际信道中的应用实例;最后介绍几类有广泛用途的线性码,包括线性等重码、一类二重量码及编码理论中的极大距离可分码(简称MDS码)。
《信息论和编码理论》内容结构严谨,注重信息论和纠错编码理论的相互统一。
《信息论和编码理论》可作为高等院校数学系高年级本科生和低年级研究生的教材,也可作为信息工程类专业学生的参考用书。
信息论和编码理论是随着计算机和通信技术的发展而兴起的新学科。1948年,美国人仙农在论文中详细阐述了通信中的数学理论,引起了通信领域的重大理论突破,奠定了信息论的基础。仙农给出的信道编码定理极大地促进了编码理论的发展,信息的传输也自然涉及信息的安全,从而又促进了密码学的发展。信息论、编码理论可以看成计算机、通信和数学的交叉学科,有着很强的实际背景,同时又是广泛应用数学理论的系统科学。当前信息论、编码理论与密码学已发展成密切联系同时又相对独立的分支。本书介绍信息论和编码理论的基本内容,目的是使读者了解这个领域的基本概念、思想和方法。
本书的编写参考了传统的信息论和编码理论教材,同时也加入了近期一些新的研究成果。本书内容结构严谨,注重信息论和纠错编码理论的相互统一。纠错编码理论可以看作是信息论中信道编码定理的具体实现,而信道编码定理为纠错编码理论的发展提供了理论依据。本书详细叙述了这些基本关系,内容连贯,涉及的数学工具易于理解,适合教学和自学两用。本书的符号遵循本领域书籍的习惯,矩阵和向量统一用白斜体。
本书适用对象是数学系高年级本科生和低年级研究生,也可作为信息工程类专业学生的参考用书。
由于作者学识水平有限,书中难免存在错误与不妥之处,恳请读者批评指正。
第1章 信源的熵
1.1 信息论的奠定
1.2 熵的概念
练习题
第2章 信源编码
2.1 可变长度编码
2.1.1 唯一可译码
2.1.2 即时码和前缀性质
2.1.3 唯一可译码和McMillan定理
2.2 霍夫曼码
2.3 霍夫曼编码定理的证明
2.4 信源编码定理
练习题
第3章 有噪信道编码
3.1 离散无记忆信道和条件熵
3.1.1 离散无记忆信道
3.1.2 条件熵
3.1.3 一些特殊的信道
3.2 信道容量
3.3 译码错误概率
3.4 信道编码定理及逆定理
3.4.1 信道编码定理的逆定理的弱形式
3.4.2 信道编码定理
3.4.3 信道编码定理的逆定理的强形式
练习题
第4章 线性码
4.1 码的界
4.2 线性码的基本概念
4.3 极大距离可分码
练习题
第5章 线性码和信息安全
5.1 码C与窃听者获取的数据的关系
5.2 相对广义汉明重量
练习题
第6章 不超过两个重量的线性码
6.1 射影几何介绍
6.2 线性码与射影几何的关系
6.3 线性等重码
6.4 一类二重量码
6.4.1 二重量码的结构
6.4.2 二重量码子码支撑重量分布
练习题
参考文献
索引