信息论基础与应用【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

信息论基础与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

绪论1

0.1 信息的概念1

0.2 信息论的研究对象、目的和内容2

扩展阅读：信息论的形成和发展5

扩展阅读：量子通信与量子信息论6

第1章 信息的度量8

1.1 自信息和互信息8

1.1.1 自信息8

1.1.2 互信息10

1.2 平均自信息11

1.2.1 平均自信息（信息熵）的概念11

1.2.2 熵函数的性质12

1.2.3 联合熵与条件熵15

1.3 平均互信息19

1.3.1 平均互信息的概念19

1.3.2 平均互信息的性质20

1.3.3 数据处理定理24

1.3.4 相对熵（KL散度）25

扩展阅读：凸函数及詹森不等式26

扩展阅读：信息增益与决策树27

动手实践：图像的熵和平均互信息29

习题129

第2章 信源及信源熵34

2.1 信源的分类及其数学模型34

2.2 离散单符号信源35

2.3 离散多符号信源36

2.3.1 离散平稳无记忆信源36

2.3.2 离散平稳有记忆信源38

2.3.3 马尔可夫信源40

2.3.4 信源的相关性和剩余度44

2.4 连续信源46

2.4.1 连续信源的最大熵50

2.4.2 连续信源的熵功率51

扩展阅读：随机过程52

扩展阅读：隐马尔可夫模型与赌场风云56

习题258

第3章 信道及其信道容量63

3.1 信道的分类63

3.2 离散单符号信道64

3.2.1 离散单符号信道的数学模型64

3.2.2 信道容量的概念66

3.2.3 几种特殊信道的信道容量68

3.2.4 离散对称信道的信道容量69

3.2.5 一般离散信道的信道容量73

3.2.6 信道容量定理77

3.2.7 信道容量的迭代算法80

3.3 离散多符号信道及其信道容量83

3.4 组合信道及其信道容量86

3.4.1 独立并联信道87

3.4.2 级联信道87

3.5 连续信道及其信道容量88

3.5.1 连续随机变量的互信息88

3.5.2 加性高斯信道的信道容量90

3.5.3 多维高斯加性信道的信道容量91

3.6 波形信道的信道容量92

扩展阅读：信道容量定理引理93

动手实践：信道容量的迭代算法94

习题395

第4章 无失真信源编码99

4.1 信源编码概述99

4.1.1 编码器99

4.1.2 码的分类101

4.2 定长码及定长信源编码定理103

4.3 变长码及变长信源编码定理106

4.3.1 Kraft不等式和McMillan不等式107

4.3.2 唯一可译码的判别准则108

4.3.3 紧致码平均码长界限定理109

4.3.4 无失真变长信源编码定理（香农第一定理）111

4.4 变长码的编码方法115

4.4.1 香农编码115

4.4.2 香农-费诺-埃利斯编码116

4.4.3 二元霍夫曼码116

4.4.4 r元霍夫曼码119

4.4.5 费诺码120

4.5 实用的无失真信源编码方法122

4.5.1 游程编码122

4.5.2 算术编码124

4.5.3 LZW编码126

扩展阅读：渐进等分割性和典型序列129

习题4132

第5章 有噪信道编码136

5.1 信道编码的相关概念136

5.1.1 错误概率和译码规则137

5.1.2 错误概率与编码方法142

5.2 有噪信道编码定理148

5.3 纠错编码150

5.3.1 纠错编码分类150

5.3.2 纠错编码的基本概念152

5.3.3 线性分组码153

5.3.4 几种重要的线性分组码163

5.3.5 卷积码168

5.3.6 TCM码、级联码、Turbo码和LDPC码171

动手实践5.1：Hamming（7，4）编译码器172

动手实践5.2：通信系统仿真172

习题5173

第6章 限失真信源编码178

6.1 失真测度178

6.1.1 失真函数179

6.1.2 平均失真181

6.2 信息率失真函数182

6.2.1 D失真许可信道182

6.2.2 信息率失真函数的定义182

6.2.3 信息率失真函数R（D）的性质183

6.3 限失真信源编码定理188

6.4 信息率失真函数的计算188

6.4.1 应用参量表示式计算R（D）189

6.4.2 率失真函数的迭代算法195

6.5 常用的限失真信源编码方法197

6.5.1 量化编码198

6.5.2 预测编码199

6.5.3 变换编码201

动手实践：图像的离散余弦变换203

习题6203

第7章 信息论的应用206

7.1 最大熵谱估计206

7.2 基于信息论的信息融合技术207

7.2.1 聚类分析法208

7.2.2 神经网络法210

7.2.3 熵法211

7.3 压缩感知与信息论211

附录A 信息论学习要点214

附录B 习题参考答案223

参考文献224