信息理论基础【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

信息理论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1.1 信息1

1.2 通信系统模型3

1.3 信息论的形成和发展4

2.1 自信息量和条件自信息量7

2.1.1 自信信息7

2.1.2 条件自信息量8

2.2 互信息量和条件互信息量9

2.2.1 互信息量9

2.2.2 互信息量的性质10

2.2.3 条件互信息量11

2.3 离散集的平均自信息量12

2.3.1 平均自信息量(熵)12

2.3.2 熵函数的数学特性13

2.3.3 条件熵21

2.3.5 各种熵性质22

2.3.4 联合熵22

2.3.6 加权熵27

2.4 离散集的平均互信息量28

2.4.1 平均条件互信息量28

2.4.2 平均互信息量29

2.4.3 平均互信息量的性质30

2.5 连续随机变量的互信息和相对熵32

2.5.1 连续随机变量的互信息32

2.5.2 连续随机变量的熵34

习题36

3.1 信源的数学模型及其分类39

3.1.1 信源的数学模型39

3.1.2 信源的分类40

3.2 离散无记忆信源42

3.3 离散无记忆信源的扩展信源43

3.3.2 N次扩展信源44

3.3.1 最简单的离散信源44

3.3.3 N次扩展信源的熵45

3.4 离散平稳信源47

3.4.1 平稳信源47

3.4.2平稳信源的熵48

3.4.3 极限熵49

3.5 马尔可夫信源51

3.5.1 有限状态马尔可夫链51

3.5.2 马尔可夫信源55

3.6信源的相关性和剩余度58

习题59

4.1 信道的数学模型及其分类65

4.2 离散无记忆信道67

4.2.1 离散信道的数学模型67

4.2.2 离符号离散信道68

4.2.3 信道疑义充70

4.2.4 平均互信息72

4.2.5 各种熵、信道疑义度及平均互信息量之间的相互关系77

4.3 离散无记忆扩展信道78

4.3.1 N次扩展信道78

4.3.2 定理81

4.4 信道的组合85

4.5 信道的容量91

4.5.1 信道容量的定义91

4.5.2 离散无噪信道92

4.5.3 离散对称信道94

4.5.4 一般离散信道98

4.5.5 离散无记忆N次扩展信道103

4.5.6 独立并联信道104

4.5.7 信源和信道匹配105

习题106

5.1 编码器111

5.2 分组友113

5.3 定长码116

5.4 变长码123

5.4.1 码的分类和主要编码方法123

5.4.2 克拉夫特不等式和麦克米伦不等式124

5.4.3 唯一可译码判别准则128

5.4.4 变长编码定理128

5.4.5 变长码的编码方法134

习题142

6.1 噪声信道的编码问题145

6.1.1 错误概率和译码规则145

6.1.2 译码规则146

6.2 错误概率与编码方法150

6.2.1 简单重复编码151

6.2.2 消息符号个数152

6.2.3 （5.2）线性码154

6.2.4 汉明距离155

6.3 有噪信道编码定理157

6.4 错误概率的上界161

习题162

7.1 失真测度164

7.1.1 失真函数164

7.1.2 平均失真166

7.2 信息率失真函数167

7.2.1 D＊允许信道（试验信道）167

7.2.2 信息率失真函数的定义167

7.2.3 信息率失真函数R（D）的性质168

7.3 限失真信源编码定理和逆定理171

7.3.1 限失真信源编码定理171

7.3.2 限失真信源编码逆定理175

7.4 信息率失真函数的计算177

7.4.1 R（D）参量表示法求解177

7.4.2 应用参量表示式计算R（D）的例题180

7.4.3 R（D）的迭代计算方法185

习题188

8.1 连续信源的特征189

8.1.1 连续信源189

8.1.2 连续信源的熵189

8.1.3 连续信源的最大熵191

8.1.4 联合熵、条件熵和平均交互信息量193

8.1.5 连续信源的熵速率和熵功率194

8.2 连续信道的信道容量197

8.2.1 时间离散信道的容量197

8.2.2 时间连续信道的容量200

8.3 连续信道的信道编码定理202

8.4 连续信源的信息率失真函数202

习题206

9.1 纠错码的基本概念209

9.2纠错码分类211

9.3.1 校验矩阵与生成矩阵212

9.3 线性分组码212

9.3.2 线性分组码的纠、检错能力216

9.3.3 校验矩阵与最小距离的关系219

9.3.4 线性分组码的伴随式219

9.3.5 线性分组码的译码220

9.3.6 汉明码221

9.4 几种重要的纠错码222

9.4.1 循环码222

9.4.2 卷积码224

习题228

10.1 最大熵谱估计231

10.1.1 最大熵谱估计的机理及伯格递推算法231

10.1.2 最大熵谱估计233

10.2 最小误差熵估计与卡尔曼滤波241

10.2.1 最小均方误差准则与最小误差熵准则241

10.2.2 最小误差熵准则推地卡尔曼滤波方程243