云时代的大数据【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

云时代的大数据PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云时代概述1

1.1 “云”概述1

1.1.1 什么是云计算2

1.1.2 给云计算一个说法3

1.1.3 云计算的使用范围3

1.1.4 云计算与一般托管环境的差别4

1.2 云产生的背景4

1.2.1 经济方面4

1.2.2 社会层面5

1.2.3 政治层面6

1.2.4 技术方面6

1.3 云计算特点7

1.4 云时代的七大益处8

1.5 云计算与其他超级计算的区别11

1.5.1 云计算与网格计算的区别11

1.5.2 云计算系统与传统超级计算机的区别12

1.6 云计算的关键性技术12

1.6.1 虚拟化12

1.6.2 分布式文件系统14

1.6.3 分布式数据库15

1.6.4 资源管理技术15

1.6.5 能耗管理技术16

1.7 云计算基础18

1.7.1 云计算的定义18

1.7.2 云计算的特征19

1.7.3 交付模式19

1.7.4 部署模式21

1.7.5 新的应用机遇23

1.8 从传统IT到云23

1.9 云计算的研究进展27

1.1 0云计算的生成系统28

1.1 1云计算时代对就业的影响29

1.1 2大数据中的云30

第2章 大数据概述33

2.1 大数据概念33

2.1.1 大数据的应用33

2.1.2 大数据的战略意义34

2.1.3 大数据的作用34

2.1.4 大数据与传统数据库34

2.1.5 大数据与Web34

2.2 大数据的理解与实践35

2.2.1 理解大数据35

2.2.2 实践大数据36

2.3 大数据的发展趋势36

2.3.1 大数据对社会的影响36

2.3.2 云平台数据更加完善38

2.4 大数据的挑战、现状与展望38

2.4.1 概述38

2.4.2 期望特性40

2.4.3 并行数据库42

2.4.4 MapReduce43

2.4.5 并行数据库和MapReduce的混合架构47

2.4.6 研究现状49

2.4.7 MapReduce与关系数据库技术的融合50

2.4.8 展望研究52

2.5 大数据行业应用及未来热点53

2.5.1 分析大数据市场53

2.5.2 分析大数据应用需求53

2.6 大数据2012年回顾54

2.6.1 2012年大数据新特征54

2.6.2 进军大数据55

2.6.3 新兴企业不断涌现56

2.7 大数据引导IT支出56

2.8 数据将变得更加重要57

2.9 盘点全球13个大数据公司59

第3章 数据挖掘65

3.1 数据挖掘的定义65

3.1.1 技术上的定义及含义65

3.1.2 商业角度的定义66

3.2 数据挖掘概述66

3.2.1 数据挖掘的起源66

3.2.2 数据挖掘方法论67

3.2.3 数据挖掘常用方法69

3.2.4 数据挖掘的实现步骤71

3.2.5 数据挖掘的功能71

3.2.6 数据挖掘常用技术72

3.2.7 数据挖掘与传统分析方法的异同78

3.2.8 数据挖掘和数据仓库78

3.2.9 数据挖掘的应用79

3.3 数据挖掘相关知识80

3.3.1 词语的重要性81

3.3.2 哈希函数82

3.3.3 索引84

3.3.4 二维存储器85

3.3.5 自然对数的底e85

3.3.6 幂定律86

第4章 数据量化87

4.1 量化分析简介87

4.2 规划优质量化分析91

4.2.1 量化分析开发规划的构成91

4.2.2 文档95

4.3 答案纲要96

4.4 三角交叉法103

4.5 高级量化分析105

4.5.1 其他象限106

4.5.2 量化分析未成熟组织的益处106

4.5.3 重复业务流程107

4.5.4 其他象限的量化分析107

4.6 创建服务目录110

4.7 构建标准和基准113

4.8 量化数据谈投资114

第5章 大规模文件系统MapReduce115

5.1 分布式文件系统115

5.1.1 NFS和AFS的区别118

5.1.2 计算节点的物理结构118

5.2 MapReduce模型119

5.2.1 Map任务120

5.2.2 分组与聚合120

5.2.3 Reduce任务120

5.3 MapReduce使用算法123

5.3.1 向量乘法实现123

5.3.2 内存处理123

5.3.3 关系运算124

5.3.4 分布文件系统实例128

5.4 MapReduce复合键值对的使用138

5.4.1 合并键值138

5.4.2 用复合键排序139

5.5 链接MapReduce作业142

5.5.1 顺序链接MapReduce作业142

5.5.2 复杂的MapReduce链接143

5.5.3 前后处理的链接143

5.5.4 链接不同的数据145

5.6 MapReduce递归扩展152

5.7 集群计算算法的效率问题154

5.7.1 集群计算的通信开销模型154

5.7.2 多路连接155

第6章 相似项挖掘157

6.1 近邻搜索的应用157

6.1.1 Jaccard相似度157

6.1.2 文档相似度157

6.2 文档的shingling算法162

6.2.1 k-shingle162

6.2.2 大小选择163

6.2.3 对shingle进行哈希163

6.3 最小哈希164

6.3.1 矩阵表示集合164

6.3.2 最小哈希概述164

6.3.3 Jaccard相似度165

6.3.4 最小哈希签名165

6.3.5 签名计算166

6.4 语音文档局部敏感哈希算法168

6.4.1 局部敏感哈希概述168

6.4.2 行条化策略的分析172

6.5 距离测试174

6.5.1 距离测度的定义174

6.5.2 欧氏距离174

6.5.3 Jaccard距离175

6.5.4 余弦距离175

6.5.5 编辑距离176

6.5.6 海明距离177

6.6 其他距离测度的LSH函数族178

6.6.1 海明距离的LSH函数族178

6.6.2 随机超平面与余弦距离179

6.6.3 欧氏距离的LSH函数族180

6.7 LSH函数的应用181

6.7.1 实体关联181

6.7.2 指纹匹配183

6.7.3 论文相似性检测服务185

6.8 高相似度方法186

6.8.1 相等项发现186

6.8.2 集合字串表示法187

6.8.3 长度过滤187

6.8.4 前缀索引188

6.8.5 位置信息使用188

6.8.6 使用位置和长度信息的索引190

第7章 HDFS存储海量数据192

7.1 HDFS简介192

7.1.1 HDFS的特点192

7.1.2 HDFS的设计需求193

7.1.3 HDFS体系结构195

7.1.4 HDFS的可靠性措施196

7.1.5 数据均衡200

7.2 HDFS存取机制200

7.3 图像存储202

7.3.1 图像存储基本思想202

7.3.2 图像存储设计目标202

7.3.3 图像存储体系结构203

7.3.4 系统功能结构204

7.4 HDFS管理操作205

7.4.1 权限管理205

7.4.2 配额管理207

7.4.3 文件归档207

7.5 FS Shell使用指南208

7.6 API使用214

7.7 HDFS的缺点216

7.8 HDFS存储海量数据217

第8章 HBase存储百科数据219

8.1 HBase的系统框架219

8.2 HBase基本特征222

8.2.1 RDBMS与HBase222

8.2.2 NoSQL数据库223

8.2.3 HBase的特点225

8.3 HBase的基本接口226

8.3.1 HBase访问接口226

8.3.2 HBase的存储格式227

8.3.3 HBase的读写流程227

8.4 模块总体设计228

8.4.1 数据库模块总体设计228

8.4.2 模块详细设计229

8.4.3 数据库模块交互设计233

8.5 HBase数据模型234

8.6 HBase的安装与配置238

8.7 HBase实例分析240

8.7.1 HBase的HFileOutputFormat240

8.7.2 HBase的TableOutputFormat243

第9章 大数据链接分析247

9.1 链接分析中的数据采集研究247

9.1.1 链接分析概述247

9.1.2 相关研究248

9.1.3 系统功能设计249

9.1.4 实验251

9.1.5 结论252

9.2 PageRank工具252

9.2.1 PageRank概述253

9.2.2 PageRank定义253

9.2.3 相关算法255

9.2.4 避免终止点256

9.2.5 采集器陷阱及“抽税”法258

9.2.6 影响PageRank的因素259

9.3 PageRank算法259

9.4 搜索引擎研究262

9.4.1 搜索引擎未来的发展方向262

9.4.2 通用型搜索引擎264

9.4.3 主题型搜索引擎268

9.4.4 性能指标270

9.5 链接作弊270

9.5.1 垃圾农场的架构270

9.5.2 垃圾农场的分析271

9.5.3 TrustRank272

9.5.4 垃圾质量273

9.6 导航页和权威页273

第10章 聚类276

10.1 聚类概述276

10.1.1 聚类的典型应用276

10.1.2 聚类的典型要求276

10.1.3 聚类的计算方法277

10.1.4 聚类分析的特征278

10.2 聚类技术279

10.2.1 点、空间和距离279

10.2.2 维数灾难279

10.3 层次聚类280

10.3.1 欧氏空间下的层次聚类281

10.3.2 控制层次聚类的其他规则284

10.3.3 非欧空间下的层次聚类284

10.4 K-均值算法285

10.4.1 K-均值算法的簇初始化285

10.4.2 K值的选择286

10.4.3 BFR算法287

10.4.4 BFR算法中的数据处理288

10.5 CURE算法290

10.5.1 CURE算法流程290

10.5.2 CURE算法设计290

10.5.3 数据取样算法293

10.6 流聚类及并行化293

10.6.1 流计算模型294

10.6.2 二次聚类算法294

10.7 非欧空间下的聚类297

10.7.1 GRGPF算法的簇表示297

10.7.2 簇树的初始化297

10.7.3 算法中加入点298

10.7.4 分裂与合并299

第11章 项集与系统301

11.1 项集与系统概述301

11.2 项集302

11.2.1 规则303

11.2.2 内存使用304

11.2.3 单调性305

11.2.4 二元组计数305

11.2.5 A-Priori算法306

11.2.6 频繁项集上的A-Priori算法307

11.3 更大数据集处理308

11.3.1 PCY算法309

11.3.2 多阶段算法310

11.3.3 多哈希算法311

11.4 有限扫描算法312

11.4.1 随机算法312

11.4.2 SON算法313

11.4.3 MapReduce算法313

11.4.4 Toivonen算法314

11.5 流中的频繁项315

11.5.1 抽样法315

11.5.2 衰减窗口的频繁项集316

11.5.3 混合方法316

11.6 推荐模型系统317

11.6.1 效用矩阵317

11.6.2 长尾现象317

11.6.3 效用矩阵的填充318

11.7 内容的推荐318

11.7.1 项模型319

11.7.2 项模型的表示319

11.7.3 分类算法320

11.8 协同过滤321

11.8.1 协同过滤的优缺点321

11.8.2 协同过滤案例321

11.9 降维处理322

11.9.1 基于中心流形理论的降维方法322

11.9.2 Lyapunov-Schmidt（L-S）方法323

11.9.3 Galerkin方法324

11.9.4 正交分解技术的降维方法327

11.9.5 其他降维方法328

11.1 0Netflix大奖赛与推荐系统331

参考文献336