工程信息论【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

工程信息论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1信息的概念和主要特征1

1.1.1概述1

1.1.2信息的基本概念和特征2

1.1.3信息论的基本内容3

1.2通信系统的模型3

1.2.1通信系统模型4

1.2.2提高通信系统技术指标的措施5

1.3.1仙农信息论所研究的问题6

1.3仙农信息论所研究的问题6

1.3.2仙农信息论的特点7

1.4仙农信息论形成与发展7

1.4.1技术背景7

1.4.2理论背景7

1.4.3仙农的主要工作7

1.4.4仙农信息论发展8

1.4.5信息论的应用9

1.5仙农生平简介与研究风格9

1.5.1仙农生平简介9

1.5.2仙农的学术风格10

2.1自信息和条件自信息11

2.1.1自信息11

第2章 离散信息的度量11

2.1.2联合自信息12

2.1.3条件自信息12

2.2互信息和条件互信息13

2.2.1互信息13

2.2.2互信息的性质13

2.2.3条件互信息14

2.3.2条件熵15

2.3.3联合熵15

2.3离散集合的平均自信息（熵）15

2.3.1信息熵15

2.3.4信息熵与热熵的关系16

2.4熵的基本性质16

2.4.1凸函数16

2.4.2信息散度18

2.4.3熵的基本性质19

2.4.4各类熵的关系20

2.5.2平均互信息21

2.5.1集合与事件之间的互信息21

2.4.5熵函数的惟一性21

2.5离散集的平均互信息21

2.5.3平均互信息与熵的关系22

2.5.4平均互信息的性质22

2.5.5平均条件互信息24

本章小结25

习题26

3.1.2信源的数学模型30

3.1.1信源的分类30

3.1信源的分类与数学模型30

第3章 离散信源30

3.2离散无记忆信源31

3.2.1单符号离散无记忆信源31

3.2.2多维离散无记忆信源32

3.3离散无记忆信源的扩展源32

3.3.1N次扩展源32

3.3.2N次扩展信源的熵33

3.4无限离散信源33

3.4.1无限离散信源的均值和熵33

3.5概率分布的信息生成函数35

3.6离散平稳信源36

3.6.1概述36

3.6.2平稳有记忆N次扩展源的熵37

3.7马尔可夫信源39

3.7.1有限状态马氏链39

3.7.2状态转移概率39

3.7.3齐次马氏链40

3.7.4Kolmogorov-Chapman方程41

3.7.5马氏链状态分类42

3.7.6马氏链的平稳分布43

3.7.7马尔可夫信源45

3.7.8马尔可夫信源熵的计算47

3.8信源的剩余度52

3.8.1信源的相关性52

3.8.2信源剩余度（冗长度）53

本章小结53

附录 定理3.4.2的证明54

习题55

4.1.2信道的分类59

4.1.1信道模型59

4.1信道模型及其分类59

第4章 离散信道及其容量59

4.2离散无记忆信道61

4.2.1一般信道的数学模型61

4.2.2离散无记忆信道61

4.2.3平稳（或恒参）信道61

4.2.4单符号离散信道61

4.2.5离散无记忆扩展信道63

4.3扩展信道输入与输出平均互信息64

4.4级联信道67

4.5离散无记忆信道容量69

4.5.1信道容量的定义69

4.5.2离散无噪信道的容量69

4.5.3信道容量的计算70

4.5.4离散对称信道的容量73

4.5.5离散无记忆N次扩展信道的容量76

4.5.6离散并联信道的容量76

4.5.7和信道的容量76

4.6信道容量的迭代计算78

4.5.8关于信道容量的注释78

本章小结80

附录 定理4.5.1的证明82

习题83

第5章 无失真信源编码87

5.1概述87

5.1.1无失真信源编码的分类87

5.1.2信源编码器模型87

5.1.3简单信源编码器举例88

5.2.1分组码的性质89

5.2分组码89

5.2.2码树90

5.3定长码91

5.3.1无失真编码条件91

5.3.2信源序列分组定理92

5.3.3渐进均分特性94

5.3.4定长码信源编码定理94

5.4变长码97

5.4.1异前置码的性质97

5.4.2变长码信源编码定理99

5.5.1二元哈夫曼（Huffman）编码102

5.5最优码102

5.5.2多元哈夫曼编码105

5.5.3马氏源的编码106

5.6算术编码108

5.6.1积累概率108

5.6.2算术编码的性能112

5.6.3算术编码和译码算法113

5.6.4一般马氏源的算术编码115

5.6.5算术编码算法实现中的技术问题116

5.7 L-Z编码116

5.7.2一种简化的LZW算法117

5.7.1L-Z算法简介117

5.8文本树加权编码121

5.8.1二元序列概率的估计121

5.8.2树信源和文本树121

5.8.3文本树加权编码的实现125

5.8.4文本树加权编码的性能评估126

本章小结126

本章参考文献128

习题128

6.1概述131

第6章 有噪信道编码131

6.1.1信息传输速率132

6.1.2单符号判决规则133

6.1.3译码错误概率133

6.2常用判决准则134

6.2.1最大后验概率准则134

6.2.2最大似然准则134

6.3费诺（Fano）不等式136

6.3.1信道疑义度136

6.3.2费诺不等式136

6.4.1汉明距离138

6.3.3序列费诺不等式138

6.4序列的最佳译码准则138

6.4.2序列最大似然译码139

6.5有噪信道编码定理140

6.5.1联合典型序列140

6.5.2有噪信道编码定理141

6.5.3无失真信源信道编码定理144

本章小结145

习题146

7.1.1连续随机变量的离散化150

7.1连续随机变量的互信息150

第7章 连续信息与连续信源150

7.1.2连续随机变量的互信息151

7.1.3连续集合平均互信息的性质152

7.2连续随机变量集合的熵152

7.2.1连续随机变量集合的熵152

7.2.2差熵的性质154

7.2.4差熵与平均互信息的关系156

7.2.5线性变换下平均互信息的不变性156

7.2.3信息散度156

7.3离散时间高斯信源的熵157

7.3.1一维高斯随机变量集合的熵157

7.3.2多维独立高斯随机变量集合的熵157

7.3.3多维相关高斯随机变量集合的熵157

7.3.4复高斯信源的熵159

7.4连续最大熵定理161

7.4.1限功率最大熵定理161

7.4.2限峰值最大熵定理162

7.5连续时间波形的正交展开163

7.6.1限带高斯白噪声信源的熵166

7.6连续时间信源的熵166

7.6.2限带高斯信源的熵167

7.6.3熵功率168

7.7最大熵原理与最大熵谱估计168

7.7.1最大熵原理169

7.7.2最大熵谱估计169

7.8离散集合与连续集合之间的互信息171

7.8.1离散事件x与连续事件y之间的互信息171

7.8.2离散集合X与连续集合Y的平均互信息171

本章参考文献172

本章小结172

附录 复矢量到实矢量的变换及其性质173

习题173

第8章 波形信道176

8.1离散时间连续信道176

8.1.1加性噪声信道177

8.1.2加性高斯噪声信道177

8.1.3容量代价函数178

8.1.4离散时间信道的容量179

8.1.5一般加性噪声信道容量界180

8.1.6并联加性高斯噪声信道181

8.2数字基带波形的正交展开183

8.3AWGN信道的容量185

8.3.1加性高斯噪声信道185

8.3.2波形信道的互信息与容量186

8.3.3AWGN信道的容量187

8.3.4高斯噪声信道编码定理190

8.3.5功率利用率和频谱利用率的关系191

8.4有色高斯噪声信道193

8.5数字调制系统的信道容量196

8.5.1PAM调制系统的信道容量196

8.5.2二维数字调制的信道容量199

8.5.3BPSK调制的信道容量202

8.6复高斯信道容量203

8.7接近信道容量界的编码205

8.7.1Turbo码205

8.7.2LDPC码206

本章小结207

本章参考文献208

习题209

9.1.1系统模型213

9.1概述213

第9章 信息率失真函数213

9.1.2失真测度214

9.2息率失真函数215

9.2.1信息率失真函数215

9.2.2 R(D)的性质216

9.3限失真编码定理219

9.3.1编码速率的压缩219

9.3.2限失真信源编码定理220

9.3.3限失真信源信道编码定理222

9.4离散信源信息率失真函数的计算223

9.4.1 R(D)参量表示法求解224

9.4.2方程的解法225

9.4.3参量s的意义226

9.5连续信源信息率失真函数229

9.5.1信息率失真函数与性质229

9.5.2 R(D)函数的计算229

9.5.3差值失真测度231

9.6高斯信源的R(D)函数231

9.6.1离散时间无记忆高斯信源232

9.6.2独立并联高斯信源233

9.6.3有记忆高斯信源235

9.6.4时间连续高斯信源236

9.6.5限带高斯信源237

9.7一般连续信源R(D)函数238

9.8有损数据压缩238

9.8.1量化239

9.8.2最佳速率分配239

9.8.3预测编码240

9.8.4子带编码241

本章小结242

9.8.5变换编码242

附录1 关于Pe的计算243

附录2 定理9.7.1的证明245

本章参考文献246

习题247

第10章 有约束信道及其编码250

10.1标号图及性质250

10.1.1标号图的基本概念251

10.1.2标号图的变换253

10.2.2等时长符号有约束信道的容量257

10.2.1有约束信道容量的定义257

10.2有约束信道的容量257

10.2.3不等时长无约束信道的容量259

10.2.4不等时长有约束信道的容量259

10.2.5马氏源的最大熵261

10.3有约束序列的性质262

10.3.1信道的约束262

10.3.2游程长度受限序列（RLL）263

10.3.3部分响应最大似然（PRML）序列265

10.3.4直流平衡序列266

10.4.1有约束信道编码定理268

10.3.5其他频域受限序列268

10.4有约束信道编码定理268

10.4.2编码器的描述270

10.4.3近似特征矢量271

10.4.4一致状态分裂272

10.4.5有限状态编码定理273

10.5有约束系统的编码274

10.5.1编码器性能指标274

10.5.2块编码器275

10.5.3确定性编码器277

10.5.4有限类型编码器278

10.5.5直流平衡序列编码系统279

10.5.6滑动块译码器281

10.6有约束序列编码实例282

10.6.1（d,k）块码编码系统282

10.6.2实用的直流平衡序列284

10.6.3无直流游程受限序列284

10.6.4有约束序列在家用电子产品中的应用284

本章小结285

附录 定理10.2.2的证明285

习题287

本章参考文献287

第11章 空时信道的容量与空时码290

11.1空时无线系统290

11.2衰落多径信道的统计模型291

11.2.1多径信道描述参数291

11.2.2频率非选择性信道292

11.2.3频率选择性信道293

11.2.4衰落信号分量的统计模型294

11.3确定性MIMO信道的容量295

11.3.1MIMO信道模型295

11.3.2发射机未知CSI的容量296

11.3.3发射机已知CSI的容量297

11.3.4SIMO系统的容量298

11.3.5MISO系统的容量299

11.4衰落MIMO信道的容量300

11.4.1容量的定义300

11.4.2容量的计算301

11.4.3影响信道容量的因素304

11.5.1CSI对发射机和接收机均已知情况305

11.5.2信道状态仅对接收机已知的情况305

11.5空时接收机305

11.6空时信道的编码308

11.6.1空时编码器308

11.6.2空时块码309

11.6.3空时格码311

11.6.4空间复用编码312

11.6.5可达容量的比较313

本章小结313

本章参考文献314

习题314

参考文献317