统计学习方法 第2版【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

统计学习方法 第2版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 监督学习3

第1章 统计学习及监督学习概论3

1.1统计学习3

1.2统计学习的分类5

1.2.1基本分类6

1.2.2按模型分类11

1.2.3按算法分类13

1.2.4按技巧分类13

1.3统计学习方法三要素15

1.3.1模型15

1.3.2策略16

1.3.3算法19

1.4模型评估与模型选择19

1.4.1训练误差与测试误差19

1.4.2过拟合与模型选择20

1.5正则化与交叉验证23

1.5.1正则化23

1.5.2交叉验证24

1.6泛化能力24

1.6.1泛化误差24

1.6.2泛化误差上界25

1.7生成模型与判别模型27

1.8监督学习应用28

1.8.1分类问题28

1.8.2标注问题30

1.8.3回归问题32

本章概要33

继续阅读33

习题33

参考文献34

第2章 感知机35

2.1感知机模型35

2.2感知机学习策略36

2.2.1数据集的线性可分性36

2.2.2感知机学习策略37

2.3感知机学习算法38

2.3.1感知机学习算法的原始形式38

2.3.2算法的收敛性41

2.3.3感知机学习算法的对偶形式43

本章概要46

继续阅读46

习题46

参考文献47

第3章 k近邻法49

3.1 k近邻算法49

3.2 k近邻模型50

3.2.1模型50

3.2.2距离度量50

3.2.3 k值的选择52

3.2.4分类决策规则52

3.3 k近邻法的实现：kd树53

3.3.1构造kd树53

3.3.2搜索kd树55

本章概要57

继续阅读57

习题58

参考文献58

第4章 朴素贝叶斯法59

4.1朴素贝叶斯法的学习与分类59

4.1.1基本方法59

4.1.2后验概率最大化的含义61

4.2朴素贝叶斯法的参数估计62

4.2.1极大似然估计62

4.2.2学习与分类算法62

4.2.3贝叶斯估计64

本章概要65

继续阅读66

习题66

参考文献66

第5章 决策树67

5.1决策树模型与学习67

5.1.1决策树模型67

5.1.2决策树与if-then规则68

5.1.3决策树与条件概率分布68

5.1.4决策树学习69

5.2特征选择71

5.2.1特征选择问题71

5.2.2信息增益72

5.2.3信息增益比76

5.3决策树的生成76

5.3.1 ID3算法76

5.3.2 C4.5的生成算法78

5.4决策树的剪枝78

5.5 CART算法80

5.5.1 CART生成81

5.5.2 CART剪枝85

本章概要87

继续阅读88

习题89

参考文献89

第6章 逻辑斯谛回归与最大熵模型91

6.1逻辑斯谛回归模型91

6.1.1逻辑斯谛分布91

6.1.2二项逻辑斯谛回归模型92

6.1.3模型参数估计93

6.1.4多项逻辑斯谛回归94

6.2最大熵模型94

6.2.1最大熵原理94

6.2.2最大熵模型的定义96

6.2.3最大熵模型的学习98

6.2.4极大似然估计102

6.3模型学习的最优化算法103

6.3.1改进的迭代尺度法103

6.3.2拟牛顿法107

本章概要108

继续阅读109

习题109

参考文献109

第7章 支持向量机111

7.1线性可分支持向量机与硬间隔最大化112

7.1.1线性可分支持向量机112

7.1.2函数间隔和几何间隔113

7.1.3间隔最大化115

7.1.4学习的对偶算法120

7.2线性支持向量机与软间隔最大化125

7.2.1线性支持向量机125

7.2.2学习的对偶算法127

7.2.3支持向量130

7.2.4合页损失函数131

7.3非线性支持向量机与核函数133

7.3.1核技巧133

7.3.2正定核136

7.3.3常用核函数140

7.3.4非线性支持向量分类机141

7.4序列最小最优化算法142

7.4.1两个变量二次规划的求解方法143

7.4.2变量的选择方法147

7.4.3 SMO算法149

本章概要149

继续阅读152

习题152

参考文献153

第8章 提升方法155

8.1提升方法AdaBoost算法155

8.1.1提升方法的基本思路155

8.1.2 AdaBoost算法156

8.1.3 AdaBoost的例子158

8.2 AdaBoost算法的训练误差分析160

8.3 AdaBoost算法的解释162

8.3.1前向分步算法162

8.3.2前向分步算法与AdaBoost164

8.4提升树166

8.4.1提升树模型166

8.4.2提升树算法166

8.4.3梯度提升170

本章概要172

继续阅读172

习题173

参考文献173

第9章 EM算法及其推广175

9.1 EM算法的引入175

9.1.1 EM算法175

9.1.2 EM算法的导出179

9.1.3 EM算法在无监督学习中的应用181

9.2 EM算法的收敛性181

9.3 EM算法在高斯混合模型学习中的应用183

9.3.1高斯混合模型183

9.3.2高斯混合模型参数估计的EM算法183

9.4 EM算法的推广187

9.4.1 F函数的极大-极大算法187

9.4.2 GEM算法189

本章概要191

继续阅读192

习题192

参考文献192

第10章 隐马尔可夫模型193

10.1隐马尔可夫模型的基本概念193

10.1.1隐马尔可夫模型的定义193

10.1.2观测序列的生成过程196

10.1.3隐马尔可夫模型的3个基本问题196

10.2概率计算算法197

10.2.1直接计算法197

10.2.2前向算法198

10.2.3后向算法201

10.2.4一些概率与期望值的计算202

10.3学习算法203

10.3.1监督学习方法203

10.3.2 Baum-Welch算法204

10.3.3 Baum-Welch模型参数估计公式206

10.4预测算法207

10.4.1近似算法208

10.4.2维特比算法208

本章概要212

继续阅读212

习题213

参考文献213

第11章 条件随机场215

11.1概率无向图模型215

11.1.1模型定义215

11.1.2概率无向图模型的因子分解217

11.2条件随机场的定义与形式218

11.2.1条件随机场的定义218

11.2.2条件随机场的参数化形式220

11.2.3条件随机场的简化形式221

11.2.4条件随机场的矩阵形式223

11.3条件随机场的概率计算问题224

11.3.1前向-后向算法225

11.3.2概率计算225

11.3.3期望值的计算226

11.4条件随机场的学习算法227

11.4.1改进的迭代尺度法227

11.4.2拟牛顿法230

11.5条件随机场的预测算法231

本章概要235

继续阅读235

习题236

参考文献236

第12章 监督学习方法总结237

第2篇 无监督学习245

第13章 无监督学习概论245

13.1无监督学习基本原理245

13.2基本问题246

13.3机器学习三要素249

13.4无监督学习方法249

本章概要253

继续阅读254

参考文献254

第14章 聚类方法255

14.1聚类的基本概念255

14.1.1相似度或距离255

14.1.2类或簇258

14.1.3类与类之间的距离260

14.2层次聚类261

14.3 k均值聚类263

14.3.1模型263

14.3.2策略263

14.3.3算法264

14.3.4算法特性266

本章概要267

继续阅读268

习题269

参考文献269

第15章 奇异值分解271

15.1奇异值分解的定义与性质271

15.1.1定义与定理271

15.1.2紧奇异值分解与截断奇异值分解276

15.1.3几何解释279

15.1.4主要性质280

15.2奇异值分解的计算282

15.3奇异值分解与矩阵近似286

15.3.1弗罗贝尼乌斯范数286

15.3.2矩阵的最优近似287

15.3.3矩阵的外积展开式290

本章概要292

继续阅读294

习题294

参考文献295

第16章 主成分分析297

16.1总体主成分分析297

16.1.1基本想法297

16.1.2定义和导出299

16.1.3主要性质301

16.1.4主成分的个数306

16.1.5规范化变量的总体主成分309

16.2样本主成分分析310

16.2.1样本主成分的定义和性质310

16.2.2相关矩阵的特征值分解算法312

16.2.3数据矩阵的奇异值分解算法315

本章概要317

继续阅读319

习题320

参考文献320

第17章 潜在语义分析321

17.1单词向量空间与话题向量空间321

17.1.1单词向量空间321

17.1.2话题向量空间324

17.2潜在语义分析算法327

17.2.1矩阵奇异值分解算法327

17.2.2例子329

17.3非负矩阵分解算法331

17.3.1非负矩阵分解331

17.3.2潜在语义分析模型332

17.3.3非负矩阵分解的形式化332

17.3.4算法333

本章概要335

继续阅读337

习题337

参考文献337

第18章 概率潜在语义分析339

18.1概率潜在语义分析模型339

18.1.1基本想法339

18.1.2生成模型340

18.1.3共现模型341

18.1.4模型性质342

18.2概率潜在语义分析的算法345

本章概要347

继续阅读348

习题348

参考文献349

第19章 马尔可夫链蒙特卡罗法351

19.1蒙特卡罗法351

19.1.1随机抽样351

19.1.2数学期望估计353

19.1.3积分计算353

19.2马尔可夫链355

19.2.1基本定义355

19.2.2离散状态马尔可夫链356

19.2.3连续状态马尔可夫链362

19.2.4马尔可夫链的性质363

19.3马尔可夫链蒙特卡罗法367

19.3.1基本想法367

19.3.2基本步骤369

19.3.3马尔可夫链蒙特卡罗法与统计学习369

19.4 Metropolis-Hastings算法370

19.4.1基本原理370

19.4.2 Metropolis-Hastings算法373

19.4.3单分量Metropolis-Hastings算法374

19.5吉布斯抽样375

19.5.1基本原理376

19.5.2吉布斯抽样算法377

19.5.3抽样计算378

本章概要379

继续阅读381

习题381

参考文献383

第20章 潜在狄利克雷分配385

20.1狄利克雷分布385

20.1.1分布定义385

20.1.2共轭先验389

20.2潜在狄利克雷分配模型390

20.2.1基本想法390

20.2.2模型定义391

20.2.3概率图模型393

20.2.4随机变量序列的可交换性394

20.2.5概率公式395

20.3 LDA的吉布斯抽样算法396

20.3.1基本想法396

20.3.2算法的主要部分397

20.3.3算法的后处理399

20.3.4算法399

20.4 LDA的变分EM算法401

20.4.1变分推理401

20.4.2变分EM算法403

20.4.3算法推导404

20.4.4算法总结411

本章概要411

继续阅读413

习题413

参考文献413

第21章 PageRank算法415

21.1 PageRank的定义415

21.1.1基本想法415

21.1.2有向图和随机游走模型416

21.1.3 PageRank的基本定义418

21.1.4 PageRank的一般定义421

21.2 PageRank的计算423

21.2.1迭代算法423

21.2.2幂法425

21.2.3代数算法430

本章概要430

继续阅读432

习题432

参考文献432

第22章 无监督学习方法总结435

22.1无监督学习方法的关系和特点435

22.1.1各种方法之间的关系435

22.1.2无监督学习方法436

22.1.3基础机器学习方法437

22.2话题模型之间的关系和特点437

参考文献438

附录A梯度下降法439

附录B牛顿法和拟牛顿法441

附录C拉格朗日对偶性447

附录D矩阵的基本子空间451

附录E KL散度的定义和狄利克雷分布的性质455

索引457