信息论基础【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章　绪论1

第2章　概率统计的基础知识3

2.1　概率空间3

2.2　条件概率6

2.3　独立性10

2.4　随机变量12

2.4.1　随机变量的基本性质12

2.4.2　随机变量的独立性14

2.5　随机变量的数字特征15

2.5.1　离散型15

2.5.2　连续型16

2.6　大数定律16

习题217

第3章　离散信源的熵和信息量19

3.1　离散信源19

3.2　事件的互信息20

3.3　条件互信息和联合事件的互信息23

3.4　事件的自信息24

3.5　离散随机变量的平均自信息——熵27

3.6　熵的性质30

3.7　香农熵的公理化定义35

3.8　随机变量的鉴别信息和平均互信息37

3.8.1　随机变量的鉴别信息37

3.8.2　随机变量的互信息40

3.9　马尔可夫链和数据处理定理41

3.10　连续随机变量的互信息和微分熵43

3.10.1　连续随机变量的互信息43

3.10.2　连续随机变量的熵——微分熵44

3.10.3　微分熵的极大化46

3.11　凸函数和互信息的凸性49

3.11.1　凸函数的概念和性质49

3.11.2　Kuhn-Tucker条件50

3.11.3　互信息的凸性53

3.12　平稳离散信源55

3.12.1　平稳离散信源的一般概念56

3.12.2　平稳信源的熵57

3.12.3　马尔可夫信源的熵60

习题362

第4章　离散信源的无错编码65

4.1　渐近等同分割性和离散无记忆信源的等长编码65

4.1.1　渐近等同分割性65

4.1.2　离散无记忆信源的等长编码70

4.2　离散无记忆信源的不等长编码72

4.2.1　Kraft不等式74

4.2.2　不等长编码定理76

4.2.3　最佳不等长编码（Huffman编码）78

4.2.4　其他不等长编码81

4.3　平稳信源和马尔可夫信源的编码定理86

4.3.1　平稳信源的编码86

4.3.2　马尔可夫信源的编码定理89

习题492

第5章 离散无记忆信道的容量和编码定理94

5.1　离散无记忆信道及其容量94

5.1.1　信道容量的定义和举例95

5.1.2　对称离散无记忆信道容量的计算99

5.1.3　转移概率矩阵可逆信道的容量计算103

5.1.4　离散无记忆信道容量的迭代计算104

5.2　信道的组合107

5.2.1　积信道（平行组合信道）108

5.2.2　和信道110

5.2.3　级联信道112

5.3　离散无记忆信道的编码定理112

5.3.1　几个有关定义113

5.3.2　联合典型列对114

5.3.3　信道编码定理115

习题5116

参考文献118