统计学习理论基础【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

统计学习理论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 引言：分类、学习、特征及应用1

1.1范围1

1.2为什么需要机器学习？1

1.3一些应用2

1.3.1图像识别2

1.3.2语音识别3

1.3.3医学诊断3

1.3.4统计套利3

1.4测量、特征和特征向量4

1.5概率的需要4

1.6监督学习5

1.7小结5

1.8附录：归纳法5

1.9问题6

1.10参考文献6

第2章 概率8

2.1一些基本事件的概率8

2.2复合事件的概率9

2.3条件概率11

2.4不放回抽取12

2.5一个经典的生日问题12

2.6随机变量13

2.7期望值13

2.8方差14

2.9小结16

2.10附录：概率诠释16

2.11问题17

2.12参考文献18

第3章 概率密度20

3.1一个二维实例20

3.2在[0， 1]区间的随机数20

3.3密度函数21

3.4高维空间中的概率密度23

3.5联合密度和条件密度24

3.6期望和方差24

3.7大数定律25

3.8小结26

3.9附录：可测性26

3.10问题27

3.11参考文献28

第4章 模式识别问题29

4.1一个简单例子29

4.2决策规则29

4.3成功基准31

4.4最佳分类器：贝叶斯决策规则32

4.5连续特征和密度32

4.6小结33

4.7附录：不可数概念33

4.8问题35

4.9参考文献35

第5章 最优贝叶斯决策规则37

5.1贝叶斯定理37

5.2贝叶斯决策规则38

5.3最优及其评论39

5.4一个例子40

5.5基于密度函数的贝叶斯定理及决策规则42

5.6小结42

5.7附录：条件概率的定义43

5.8问题43

5.9参考文献46

第6章 从实例中学习47

6.1概率分布知识的欠缺47

6.2训练数据48

6.3对训练数据的假设49

6.4蛮力学习方法50

6.5维数灾难、归纳偏置以及无免费午餐原理51

6.6小结52

6.7附录：学习的类型53

6.8问题54

6.9参考文献54

第7章 最近邻规则56

7.1最近邻规则56

7.2最近邻规则的性能57

7.3直觉判断与性能证明框架58

7.4使用更多邻域59

7.5小结60

7.6附录：当人们使用最近邻域进行推理时的一些问题60

7.6.1谁是单身汉？60

7.6.2法律推理61

7.6.3道德推理61

7.7问题62

7.8参考文献62

第8章 核规则64

8.1动机64

8.2最近邻规则的变体65

8.3核规则65

8.4核规则的通用一致性68

8.5势函数69

8.6更多的通用核70

8.7小结71

8.8附录：核、相似性和特征71

8.9问题72

8.10参考文献73

第9章 神经网络：感知器75

9.1多层前馈网络75

9.2神经网络用于学习和分类77

9.3感知器78

9.3.1阈值78

9.4感知器学习规则79

9.5感知器的表达能力80

9.6小结82

9.7附录：思想模型83

9.8问题84

9.9参考文献85

第10章 多层神经网络86

10.1多层网络的表征能力86

10.2学习及S形输出88

10.3训练误差和权值空间90

10.4基于梯度下降的误差最小化91

10.5反向传播92

10.6反向传播方程的推导95

10.6.1单神经元情况下的推导95

10.6.2多层网络情况下的推导95

10.7小结97

10.8附录：梯度下降与反射平衡推理97

10.9问题98

10.10参考文献99

第11章 可能近似正确（PAC）学习100

11.1决策规则分类100

11.2来自一个类中的最优规则101

11.3可能近似正确准则102

11.4 PAC学习103

11.5小结104

11.6附录：识别不可辨元105

11.7问题106

11.8参考文献106

第12章VC维108

12.1近似误差和估计误差108

12.2打散109

12.3 VC维110

12.4学习结果110

12.5举例111

12.6神经网络应用114

12.7小结114

12.8附录：VC维与波普尔（Popper）维度115

12.9问题115

12.10参考文献116

第13章 无限VC维118

13.1类层次及修正的PAC准则118

13.2失配与复杂性间的平衡119

13.3学习结果120

13.4归纳偏置与简单性120

13.5小结121

13.6附录：均匀收敛与泛一致性121

13.7问题122

13.8参考文献123

第14章 函数估计问题124

14.1估计124

14.2成功准则124

14.3最优估计：回归函数125

14.4函数估计中的学习126

14.5小结126

14.6附录：均值回归127

14.7问题127

14.8参考文献128

第15章 学习函数估计129

15.1函数估计与回归问题回顾129

15.2最近邻规则129

15.3核方法130

15.4神经网络学习130

15.5基于确定函数类的估计131

15.6打散、伪维数与学习132

15.7结论133

15.8附录：估计中的准确度、精度、偏差及方差134

15.9问题135

15.10参考文献135

第16章 简明性137

16.1科学中的简明性137

16.1.1对简明性的明确倡导137

16.1.2这个世界简单吗？137

16.1.3对简明性的错误诉求138

16.1.4对简明性的隐性诉求138

16.2排序假设138

16.2.1两种简明性排序法139

16.3两个实例140

16.3.1曲线拟合140

16.3.2枚举归纳141

16.4简明性即表征简明性141

16.4.1要确定表征系统吗？142

16.4.2参数越少越简单吗？143

16.5简明性的实用理论143

16.6简明性和全局不确定性144

16.7小结144

16.8附录：基础科学和统计学习理论144

16.9问题145

16.10参考文献146

第17章 支持向量机148

17.1特征向量的映射149

17.2间隔最大化150

17.3优化与支持向量153

17.4实现及其与核方法的关联154

17.5优化问题的细节155

17.5.1改写分离条件155

17.5.2间隔方程155

17.5.3用于不可分实例的松弛变量156

17.5.4优化问题的重构和求解156

17.6小结157

17.7附录：计算158

17.8问题159

17.9参考文献160

第18章 集成学习161

18.1弱学习规则161

18.2分类器组合162

18.3训练样本的分布163

18.4自适应集成学习算法（AdaBoost）163

18.5训练数据的性能165

18.6泛化性能165

18.7小结167

18.8附录：集成方法167

18.9问题168

18.10参考文献168