信息论与编码【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

信息论与编码PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

第2章 熵和互信息5

2.1 随机变量的熵和互信息5

2.1.1 事件的自信息和互信息6

2.1.2 条件事件的互信息与联合事件的互信息8

2.1.3 随机变量的平均自信息——熵9

2.1.4 熵的性质12

2.1.5 凸函数15

2.1.6 随机变量间的平均互信息19

2.1.7 概率分布的散度（相对熵）22

2.1.8 关于疑义度的Fano不等式23

2.1.9 马尔可夫链和数据处理定理24

2.1.10 Shannon信息度量与集合论之间的联系28

2.1.11 信息论与博弈之间的关系33

2.2 连续随机变量的互信息和微分熵36

2.2.1 连续随机变量的互信息36

2.2.2 连续随机变量的熵——微分熵37

2.2.3 微分熵的极大化40

2.3 平稳离散信源的熵42

2.3.1 平稳离散信源的一般概念43

2.3.2 平稳信源的熵43

2.3.3 马尔可夫信源46

2.4 平稳随机过程的信息量与熵49

习题53

第3章 离散无记忆信源的无损编码58

3.1 离散无记忆信源的等长编码58

3.1.1 等长编码58

3.1.2 Shannon信源编码定理叙述59

3.1.3 渐近等分性质与Shannon定理的证明60

3.2 离散无记忆信源的不等长编码64

3.2.1 不等长编码的唯一可译性和译码延时64

3.2.2 Kraft不等式67

3.2.3 不等长编码定理69

3.3 几种不等长编码算法71

3.3.1 最佳不等长编码（Huffman编码）71

3.3.2 Shannon编码法73

3.3.3 Fano编码75

3.3.4 Shannon-Fano-Elias编码78

3.3.5 算术编码80

3.3.6 通用信源编码算法85

3.3.7 压缩编码与离散随机数发生89

3.4 平稳信源和马尔可夫信源的编码定理93

3.4.1 平稳信源的编码93

3.4.2 马尔可夫信源的编码95

习题99

第4章 信道、信道容量及信道编码定理103

4.1 信道、信道模型和分类103

4.2 离散无记忆信道及其容量104

4.2.1 信道容量定义及例子105

4.2.2 离散无记忆信道的容量定理109

4.2.3 对称离散无记忆信道容量的计算110

4.2.4 转移概率矩阵可逆信道的容量计算113

4.2.5 离散无记忆信道容量的迭代计算115

4.3 信道的组合120

4.3.1 积信道（平行组合信道）120

4.3.2 和信道122

4.3.3 级联信道123

4.4 离散无记忆信道的编码定理125

4.4.1 几个有关定义126

4.4.2 二元对称信道编码定理的证明127

4.4.3 一般离散无记忆信道编码定理的证明（典型列方法）130

4.4.4 信道编码定理之逆134

4.4.5 具有理想反馈的离散无记忆信道的容量135

4.4.6 信源、信道编码分离定理和信源、信道联合编码137

4.5 加性高斯噪声信道139

4.5.1 高斯信道的容量140

4.5.2 高斯信道编码定理141

4.5.3 高斯信道编码定理之逆143

4.5.4 带有独立高斯噪声的平行信道144

4.5.5 带有相关高斯噪声的平行信道146

4.5.6 MIMO高斯信道的容量148

4.6 模拟信道的信道容量154

4.6.1 带限、加性白高斯噪声信道154

4.6.2 带限、有色高斯噪声信道157

习题158

第5章 率失真理论和保真度准则下的信源编码163

5.1 率失真函数的定义164

5.2 简单信源的率失真函数计算168

5.2.1 Hamming失真度量下的贝努利信源168

5.2.2 高斯信源170

5.2.3 高斯矢量信源172

5.3 率失真函数的性质174

5.3.1 R（D）的非零区域（Dmin,Dmax）174

5.3.2 R（D）的向下凸性176

5.3.3 R（D）为单调递减的连续函数176

5.3.4 利用信源的对称性来计算率失真函数178

5.4 率失真函数解的充要条件和参数方程179

5.5 率失真函数的交替迭代计算185

5.6 保真度准则下离散无记忆信源编码定理189

5.6.1 可达性证明189

5.6.2 逆定理证明192

5.6.3 信道编码定理与限失真信源编码定理之间的对偶193

5.7 无记忆连续信源的率失真函数194

5.7.1 无记忆连续信源的率失真函数定义194

5.7.2 平方误差失真度量下连续随机变量的率失真函数的上、下限196

5.8 平方误差失真度量下有记忆高斯信源的率失真函数200

5.8.1 有记忆信源的率失真函数定义200

5.8.2 高斯信源的特征201

5.8.3 离散时间平稳高斯信源的率失真函数201

5.8.4 连续时间平稳高斯信源的率失真函数205

习题207

第6章 受限系统和受限系统编码209

6.1 受限系统概述209

6.1.1 受限信道209

6.1.2 序列的自相关函数和功率谱212

6.2 受限系统的表示和容量计算214

6.2.1 受限系统的概念214

6.2.2 RLL（d,k）序列215

6.2.3 受限系统的有限状态转移图表示215

6.2.4 受限系统的容量217

6.2.5 受限系统容量的计算218

6.2.6 最大熵游程受限序列的功率谱224

6.3 受限系统编码方法225

6.3.1 定长分组编码226

6.3.2 码长最短的定长分组码228

6.3.3 可变长度固定速率编码229

6.3.4 向前看（LA）编码技术231

6.4 基于ACH状态分裂算法的有限状态编码器233

6.4.1 状态分裂233

6.4.2 近似本征矢量235

6.4.3 u一致分裂237

6.4.4 ACH状态分裂算法239

第7章 线性分组纠错编码242

7.1 分组纠错编码的一般概念242

7.1.1 用于纠错和检错的信道编码242

7.1.2 二元对称信道的差错概率和差错分布243

7.1.3 检错和纠错244

7.1.4 自动重发请求（ARQ）编码246

7.1.5 最大似然译码和最小Hamming距离译码247

7.1.6 最小Hamming距离与检错、纠错能力的关系248

7.2 线性分组纠错编码250

7.2.1 线性分组编码的生成矩阵和校验矩阵250

7.2.2 对偶码253

7.2.3 线性分组码的最小Hamming距离和最小Hamming重量254

7.3 线性分组码的纠错能力256

7.4 线性分组码的译码258

7.4.1 标准阵列译码法259

7.4.2 伴随式译码260

7.5 译码错误概率计算261

7.5.1 码字错误概率261

7.5.2 误比特率262

7.6 二元Hamming码263

7.6.1 Hamming码的定义263

7.6.2 Hamming码的完备性264

7.6.3 Hamming码的对偶码264

7.7 从一个已知线性分组码来构造一个新的线性分组码265

习题267

第8章 循环码269

8.1 有限域代数的基本知识269

8.1.1 有限域的定义269

8.1.2 GF（2m）的构成271

8.1.3 有限域的特征和元素的阶数272

8.1.4 最小多项式275

8.2 循环码的定义和它的多项式表示276

8.3 系统循环码的编码及其实现280

8.3.1 系统循环码的编码280

8.3.2 多项式运算的电路实现281

8.3.3 循环码编码的电路实现286

8.4 循环码的矩阵表示287

8.5 循环码的译码及其实现290

8.5.1 伴随式的计算290

8.5.2 循环码的通用译码算法292

8.5.3 梅吉特译码器293

8.6 几个重要的循环码295

8.6.1 Hamming循环码296

8.6.2 BCH码298

8.6.3 Reed-Solomon（RS）码301

习题304

第9章 卷积码305

9.1 卷积码的代数结构305

9.1.1 卷积码的构成305

9.1.2 卷积码编码器的冲激响应和生成矩阵306

9.1.3 卷积码编码器的多项式描述311

9.2 卷积码的图描述和重量计数311

9.2.1 卷积码的树图描述311

9.2.2 卷积码的网格图描述312

9.2.3 卷积码的状态图描述313

9.2.4 卷积码的重量计数314

9.2.5 恶性码316

9.3 卷积码的Viterbi译码算法317

9.3.1 分支度量、路径度量和最大似然译码318

9.3.2 Viterbi译码算法320

9.3.3 作为前向动态规划解的Viterbi算法322

9.3.4 实现Viterbi译码算法的一些具体考虑325

9.4 卷积码Viterbi译码算法的性能界327

9.4.1 节点错误概率327

9.4.2 比特错误概率329

9.4.3 卷积码在BSC和AWGN信道的性能330

9.5 凿孔卷积码333

习题336

第10章 先进的信道编码技术338

10.1 软判决译码和软输出译码338

10.1.1 软判决和软输出译码方法339

10.1.2 卷积码的软输出译码343

10.2 乘积码和级联编码346

10.2.1 乘积码347

10.2.2 级联编码348

10.2.3 交织技术349

10.2.4 并行级联编码和Turbo码351

10.3 迭代译码技术354

10.3.1 迭代译码原理354

10.3.2 二维乘积码的迭代译码355

10.3.3 Turbo码的迭代译码360

10.4 LDPC码及其软判决译码361

10.4.1 Tanner图361

10.4.2 LDPC码的构造方法362

10.4.3 LDPC的译码363

10.5 喷泉码373

10.5.1 随机、线性喷泉码375

10.5.2 LT码376

10.5.3 Raptor码380

第11章 多用户信息论382

11.1 多用户信息传输模型和信源编码模型382

11.1.1 多用户信息传输模型382

11.1.2 多用户信源编码模型384

11.2 多变量联合典型列及强典型列概念386

11.2.1 多变量联合典型列及联合AEP性质386

11.2.2 强典型列集合与强AEP388

11.3 多接入信道390

11.4 广播信道395

11.4.1 广播信道的定义396

11.4.2 退化的广播信道396

11.5 干扰信道401

11.5.1 强干扰信道402

11.5.2 高斯干扰信道403

11.6 中继信道406

11.6.1 退化中继信道407

11.6.2 高斯中继信道410

11.7 具有反馈的多用户信道412

11.7.1 具有无噪反馈的无记忆多接入信道412

11.7.2 具有无噪反馈的广播信道416

11.7.3 双向信道418

11.8 具有状态边信息的信道编码424

11.8.1 具有缺损的硬盘存储器信道426

11.8.2 仅发送端具有信道状态信息时的信道容量428

11.8.3 脏纸信道429

11.9 相关信源的无损编码及在多接入信道上传输431

11.9.1 相关信源的无损编码431

11.9.2 相关信源在多接入信道上传输435

11.10 具有边信息的信源编码438

11.10.1 译码器具有边信息的无损信源编码438

11.10.2 具有边信息的率失真问题440

11.10.3 仅在译码器具有高斯边信息的高斯信源的率失真函数443

11.11 多描述信源编码444

11.11.1 具有2个信道和3个接收机的多描述信源编码模型445

11.11.2 可达性的证明451

11.11.3 信息描述的相继细化453

参考文献458