概率图模型 原理与技术【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

概率图模型 原理与技术PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 引言1

1.1 动机1

1.2 结构化概率模型2

1.2.1 概率图模型3

1.2.2 表示、推理、学习5

1.3 概述和路线图6

1.3.1 各章的概述6

1.3.2 读者指南9

1.3.3 与其他学科的联系10

1.4 历史注记12

第2章 基础知识15

2.1 概率论15

2.1.1 概率分布15

2.1.2 概率中的基本概念17

2.1.3 随机变量与联合分布19

2.1.4 独立性与条件独立性22

2.1.5 查询一个分布25

2.1.6 连续空间27

2.1.7 期望与方差30

2.2 图33

2.2.1 节点与边33

2.2.2 子图34

2.2.3 路径与迹35

2.2.4 圈与环36

2.3 相关文献37

2.4 习题38

第Ⅰ部分 表示45

第3章 贝叶斯网表示45

3.1 独立性性质的利用45

3.1.1 随机变量的独立性45

3.1.2 条件参数化方法46

3.1.3 朴素贝叶斯模型48

3.2 贝叶斯网51

3.2.1 学生示例回顾51

3.2.2 贝叶斯网的基本独立性55

3.2.3 图与分布59

3.3 图中的独立性68

3.3.1 d-分离68

3.3.2 可靠性与完备性71

3.3.3 d-分离算法73

3.3.4 I-等价75

3.4 从分布到图77

3.4.1 最小I-map78

3.4.2 P-map80

3.4.3 发现P-map82

3.5 小结91

3.6 相关文献92

3.7 习题95

第4章 无向图模型103

4.1 误解示例103

4.2 参数化106

4.2.1 因子106

4.2.2 吉布斯分布与马尔可夫网107

4.2.3 简化的马尔可夫网110

4.3 马尔可夫网的独立性113

4.3.1 基本独立性113

4.3.2 独立性回顾116

4.3.3 从分布到图119

4.4 参数化回顾121

4.4.1 细粒度参数化方法121

4.4.2 过参数化127

4.5 贝叶斯网与马尔可夫网132

4.5.1 从贝叶斯网到马尔可夫网132

4.5.2 从马尔可夫网到贝叶斯网136

4.5.3 弦图138

4.6 部分有向模型140

4.6.1 条件随机场141

4.6.2 链图模型146

4.7 总结与讨论149

4.8 相关文献150

4.9 习题151

第5章 局部概率模型155

5.1 CPD表155

5.2 确定性CPD156

5.2.1 表示156

5.2.2 独立性157

5.3 特定上下文CPD160

5.3.1 表示160

5.3.2 独立性168

5.4 因果影响的独立性172

5.4.1 Noisy-or模型172

5.4.2 广义线性模型175

5.4.3 一般公式化表示179

5.4.4 独立性180

5.5 连续变量181

5.5.1 混合模型185

5.6 条件贝叶斯网187

5.7 总结189

5.8 相关文献189

5.9 习题191

第6章 基于模板的表示195

6.1 引言195

6.2 时序模型196

6.2.1 基本假设196

6.2.2 动态贝叶斯网198

6.2.3 状态-观测模型203

6.3 模板变量与模板因子208

6.4 对象-关系领域的有向概率模型211

6.4.1 Plate模型211

6.4.2 概率关系模型217

6.5 无向表示223

6.6 结构不确定性227

6.6.1 关系不确定性227

6.6.2 对象不确定性230

6.7 小结235

6.8 相关文献236

6.9 习题237

第7章 高斯网络模型241

7.1 多元高斯分布241

7.1.1 基本参数化方法241

7.1.2 高斯分布的运算243

7.1.3 高斯分布的独立性244

7.2 高斯贝叶斯网245

7.3 高斯马尔可夫随机场248

7.4 小结251

7.5 相关文献251

7.6 习题252

第8章 指数族255

8.1 引言255

8.2 指数族255

8.2.1 线性指数族257

8.3 因式化的指数族（factored exponential families）260

8.3.1 乘积分布（product distributions）260

8.3.2 贝叶斯网261

8.4 熵和相对熵263

8.4.1 熵263

8.4.2 相对熵266

8.5 投影267

8.5.1 比较268

8.5.2 M-投影270

8.5.3 I-投影275

8.6 小结275

8.7 相关文献276

8.8 习题276

第Ⅱ部分 推理281

第9章 精确推理：变量消除281

9.1 复杂性分析281

9.1.1 精确推理分析282

9.1.2 近似推理分析284

9.2 变量消除：基本思路286

9.3 变量消除290

9.3.1 基本消除290

9.3.2 证据处理295

9.4 复杂度与图结构：变量消除298

9.4.1 简单分析298

9.4.2 图论分析299

9.4.3 寻找消除顺序302

9.5 条件作用308

9.5.1 条件作用算法308

9.5.2 条件作用与变量消除309

9.5.3 图论分析313

9.5.4 改进的条件作用算法314

9.6 用结构CPD推理316

9.6.1 因果影响的独立性316

9.6.2 上下文特定的独立性319

9.6.3 讨论326

9.7 总结和讨论327

9.8 相关文献328

9.9 习题329

第10章 精确推理：团树337

10.1 变量消除与团树337

10.1.1 聚类图337

10.1.2 团树338

10.2 消息传递：和积340

10.2.1 团树中的变量消除341

10.2.2 团树校准346

10.2.3 将校准团树作为一个分布352

10.3 消息传递：置信更新355

10.3.1 使用除法的消息传递356

10.3.2 和-积与置信-更新消息的等价性359

10.3.3 回答查询360

10.4 构建一个团树364

10.4.1 源自变量消除的团树364

10.4.2 源自弦图的团树365

10.5 小结367

10.6 相关文献368

10.7 习题369

第11章 作为优化的推理373

11.1 引言373

11.1.1 再议精确推理374

11.1.2 能量泛函376

11.1.3 优化能量泛函377

11.2 作为优化的精确推理378

11.2.1 不动点刻画379

11.2.2 推理优化382

11.3 基于传播的近似382

11.3.1 一个简单的例子383

11.3.2 聚类图置信传播387

11.3.3 聚类图置信传播的性质391

11.3.4 收敛性分析393

11.3.5 构建聚类图395

11.3.6 变分分析401

11.3.7 其他熵近似404

11.3.8 讨论417

11.4 近似消息传播419

11.4.1 因子分解的消息419

11.4.2 近似消息计算422

11.4.3 近似消息推理425

11.4.4 期望传播431

11.4.5 变分分析434

11.4.6 讨论436

11.5 结构化的变分近似437

11.5.1 平均场近似438

11.5.2 结构化的近似445

11.5.3 局部变分法456

11.6 总结与讨论460

11.7 相关文献462

11.8 习题464

第12章 基于粒子的近似推理475

12.1 前向采样476

12.1.1 从贝叶斯网中采样476

12.1.2 误差分析478

12.1.3 条件概率查询479

12.2 似然加权与重要性采样480

12.2.1 似然加权：直觉480

12.2.2 重要性采样482

12.2.3 贝叶斯网的重要性采样486

12.2.4 重要性采样回顾492

12.3 马尔可夫链的蒙特卡罗方法492

12.3.1 吉布斯采样算法493

12.3.2 马尔可夫链494

12.3.3 吉布斯采样回顾499

12.3.4 马尔可夫链的一个更广泛的类502

12.3.5 马尔可夫链的使用505

12.4 坍塌的粒子512

12.4.1 坍塌的似然加权513

12.4.2 坍塌的MCMC517

12.5 确定性搜索方法522

12.6 小结525

12.7 相关文献527

12.8 习题529

第13章 最大后验概率推理537

13.1 综述537

13.1.1 计算复杂性537

13.1.2 解决方法综述538

13.2 （边缘）MAP的变量消除540

13.2.1 最大-积变量消除540

13.2.2 找到最可能的赋值542

13.2.3 边缘MAP的变量消除545

13.3 团树中的最大-积547

13.3.1 计算最大-边缘548

13.3.2 作为再参数化的信息传递549

13.3.3 最大-边缘解码550

13.4 多圈聚类图中的最大-积置信传播553

13.4.1 标准最大-积消息传递553

13.4.2 带有计数的最大-积BP557

13.4.3 讨论560

13.5 作为线性优化问题的MAP562

13.5.1 整数规划的公式化562

13.5.2 线性规划松弛564

13.5.3 低温极限566

13.6 对MAP使用图割572

13.6.1 使用图割的推理572

13.6.2 非二元变量575

13.7 局部搜索算法579

13.8 小结580

13.9 相关文献582

13.10 习题584

第14章 混合网络中的推理589

14.1 引言589

14.1.1 挑战589

14.1.2 离散化590

14.1.3 概述591

14.2 高斯网络中的变量消除592

14.2.1 标准型592

14.2.2 和-积算法595

14.2.3 高斯置信传播596

14.3 混合网络598

14.3.1 面临的困难599

14.3.2 混合高斯网络的因子运算601

14.3.3 CLG网络的EP604

14.3.4 一个“准确的”CLG算法609

14.4 非线性依赖613

14.4.1 线性化614

14.4.2 使用高斯近似的期望传播620

14.5 基于粒子的近似方法624

14.5.1 在连续空间中采样625

14.5.2 贝叶斯网中的前向采样626

14.5.3 马尔可夫链-蒙特卡罗方法626

14.5.4 坍塌的粒子627

14.5.5 非参数消息传递628

14.6 总结与讨论629

14.7 相关文献630

14.8 习题631

第15章 时序模型中的推理635

15.1 推理任务636

15.2 精确推理637

15.2.1 状态观测模型的滤波637

15.2.2 作为团树传播的滤波638

15.2.3 DBN中的团树推理639

15.2.4 复杂情况探讨640

15.3 近似推理644

15.3.1 核心思想645

15.3.2 因子分解的置信状态方法646

15.3.3 粒子滤波648

15.3.4 确定性搜索方法658

15.4 混合DBN659

15.4.1 连续模型659

15.4.2 混合模型667

15.5 小结671

15.6 相关文献672

15.7 习题674

第Ⅲ部分 学习681

第16章 图模型学习：概述681

16.1 动机681

16.2 学习目标682

16.2.1 密度估计682

16.2.2 具体的预测任务684

16.2.3 知识发现685

16.3 优化学习686

16.3.1 经验风险与过拟合686

16.3.2 判别式与生成式训练693

16.4 学习任务695

16.4.1 模型限制695

16.4.2 数据的可观测性696

16.4.3 学习任务的分类697

16.5 相关文献698

第17章 参数估计699

17.1 最大似然估计（MLE）699

17.1.1 图钉的例子699

17.1.2 最大似然准则701

17.2 贝叶斯网的MLE704

17.2.1 一个简单的例子704

17.2.2 全局似然分解706

17.2.3 CPD表707

17.2.4 高斯贝叶斯网709

17.2.5 作为M-投影的最大似然估计713

17.3 贝叶斯参数估计714

17.3.1 图钉例子的回顾714

17.3.2 先验分布与后验分布719

17.4 贝叶斯网中的贝叶斯参数估计723

17.4.1 参数独立性与全局分解723

17.4.2 局部分解727

17.4.3 贝叶斯网学习的先验分布729

17.4.4 MAP估计732

17.5 具有共享参数的学习模型735

17.5.1 全局参数共享736

17.5.2 局部参数共享741

17.5.3 具有共享参数的贝叶斯推断742

17.5.4 层次先验744

17.6 泛化分析750

17.6.1 渐近性分析750

17.6.2 PAC界751

17.7 小结757

17.8 相关文献758

17.9 习题759

第18章 贝叶斯网中的结构学习767

18.1 引言767

18.1.1 问题定义767

18.1.2 方法概述769

18.2 基于约束的方法769

18.2.1 总体框架769

18.2.2 独立性检验771

18.3 结构得分774

18.3.1 似然得分774

18.3.2 贝叶斯得分778

18.3.3 单个变量的边缘似然780

18.3.4 贝叶斯网的贝叶斯得分782

18.3.5 理解贝叶斯得分785

18.3.6 先验性787

18.3.7 得分等价性790

18.4 结构搜索791

18.4.1 学习树结构网络791

18.4.2 给定顺序793

18.4.3 一般图794

18.4.4 用等价类学习804

18.5 贝叶斯模型平均807

18.5.1 基本理论807

18.5.2 基于给定序的模型平均809

18.5.3 一般的情况811

18.6 带有附加结构的学习模型815

18.6.1 带有局部结构的学习816

18.6.2 学习模板模型819

18.7 总结与讨论821

18.8 相关文献822

18.9 习题825

第19章 部分观测数据833

19.1 基础知识833

19.1.1 数据的似然和观测模型833

19.1.2 观测机制的解耦837

19.1.3 似然函数840

19.1.4 可识别性843

19.2 参数估计846

19.2.1 梯度上升方法846

19.2.2 期望最大化（EM）852

19.2.3 比较：梯度上升与EM870

19.2.4 近似推理876

19.3 使用不完备数据的贝叶斯学习880

19.3.1 概述880

19.3.2 MCMC采样881

19.3.3 变分贝叶斯学习887

19.4 结构学习890

19.4.1 结构得分891

19.4.2 结构搜索898

19.4.3 结构EM902

19.5 带有隐变量的学习模型907

19.5.1 隐变量的信息内容908

19.5.2 确定基数909

19.5.3 引入隐变量912

19.6 小结914

19.7 相关文献915

19.8 习题917

第20章 学习无向模型927

20.1 概述927

20.2 似然函数928

20.2.1 一个例子928

20.2.2 似然函数的形式930

20.2.3 似然函数的性质930

20.3 最大（条件）似然参数估计932

20.3.1 最大似然估计933

20.3.2 条件训练模型934

20.3.3 用缺失数据学习937

20.3.4 最大熵和最大似然939

20.4 参数先验与正则化941

20.4.1 局部先验942

20.4.2 全局先验944

20.5 用近似推理学习945

20.5.1 信念传播945

20.5.2 基于MAP的学习950

20.6 替代目标953

20.6.1 伪似然及其推广953

20.6.2 对比优化准则957

20.7 结构学习962

20.7.1 使用独立性检验的结构学习962

20.7.2 基于得分的学习：假设空间964

20.7.3 目标函数965

20.7.4 优化任务968

20.7.5 评估模型的改变975

20.8 小结978

20.9 相关文献981

20.1 0习题984

第Ⅳ部分 行为与决策993

第21章 因果关系993

21.1 动机与概述993

21.1.1 条件作用与干预993

21.1.2 相关关系和因果关系996

21.2 因果关系模型998

21.3 结构性因果关系的可识别性1000

21.3.1 查询简化规则1001

21.3.2 迭代的查询简化1003

21.4 机制与响应变量1009

21.5 函数因果模型中的部分可识别性1013

21.6 虚拟查询1017

21.6.1 成对的网络1017

21.6.2 虚拟查询的界1020

21.7 学习因果模型1021

21.7.1 学习没有混合因素的因果模型1022

21.7.2 从干预数据中学习1025

21.7.3 处理隐变量1029

21.7.4 学习功能因果关系模型1032

21.8 小结1033

21.9 相关文献1034

21.10 习题1035

第22章 效用和决策1039

22.1 基础：期望效用最大化1039

22.1.1 不确定性情况下的决策制定1039

22.1.2 理论证明1041

22.2 效用曲线1044

22.2.1 货币效用1044

22.2.2 风险态度1046

22.2.3 合理性1047

22.3 效用的获取1048

22.3.1 效用获取过程1048

22.3.2 人类生命的效用1049

22.4 复杂结果的效用1050

22.4.1 偏好和效用独立性1051

22.4.2 加法独立性特性1053

22.5 小结1060

22.6 相关文献1061

22.7 习题1063

第23章 结构化决策问题1065

23.1 决策树1065

23.1.1 表示1065

23.1.2 逆向归纳算法1067

23.2 影响图1068

23.2.1 基本描述1068

23.2.2 决策规则1070

23.2.3 时间与记忆1071

23.2.4 语义与最优性准则1072

23.3 影响图的逆向归纳1075

23.3.1 影响图的决策树1075

23.3.2 求和-最大化-求和规则1077

23.4 期望效用的计算1079

23.4.1 简单的变量消除1079

23.4.2 多个效用变量：简单的方法1080

23.4.3 广义变量消除1081

23.5 影响图中的最优化1086

23.5.1 最优化一个单一的决策规则1086

23.5.2 迭代优化算法1087

23.5.3 策略关联与全局最优性1089

23.6 忽略无关的信息1097

23.7 信息的价值1100

23.7.1 单一观察1100

23.7.2 多重观察1103

23.8 小结1105

23.9 相关文献1106

23.10 习题1108

第24章 结束语1113

附录A 背景材料1117

A.1 信息论1117

A.1.1 压缩和熵1117

A.1.2 条件熵与信息1119

A.1.3 相对熵和分布距离1120

A.2 收敛界1123

A.2.1 中心极限定理1124

A.2.2 收敛界1125

A.3 算法与算法复杂性1126

A.3.1 基本图算法1126

A.3.2 算法复杂性分析1127

A.3.3 动态规划1129

A.3.4 复杂性理论1130

A.4 组合优化与搜索1134

A.4.1 优化问题1134

A.4.2 局部搜索1134

A.4.3 分支限界搜索1141

A.5 连续最优化1142

A.5.1 连续函数最优解的刻画1142

A.5.2 梯度上升方法1144

A.5.3 约束优化1148

A.5.4 凸对偶性1152

参考文献1155

符号索引1191

主题索引1195