大数据开发者权威教程 NoSQL Hadoop组件及大数据实施【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

大数据开发者权威教程 NoSQL Hadoop组件及大数据实施PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

模块1 额外的Hadoop工具：ZooKeeper、Sqoop、Flume、YARN和Storm3

第1讲 用ZooKeeper进行分布式处理协调3

1.1 ZooKeeper简介4

1.1.1 ZooKeeper的好处4

1.1.2 ZooKeeper术语6

1.1.3 ZooKeeper命令行界面（CLI）7

1.2 安装和运行ZooKeeper9

1.2.1 支持的平台9

1.2.2 所需的软件9

1.2.3 单服务器的安装9

1.3 使用ZooKeeper10

1.4 ZooKeeper应用程序12

1.4.1 FS爬取13

1.4.2 Katta14

1.4.3 Yahoo！消息代理（YMB）14

1.5 使用ZooKeeper构建应用程序15

1.5.1 Execjava15

1.5.2 处理事件17

1.5.3 监控数据19

1.5.4 实现屏障和生产者-消费者队列22

练习30

备忘单33

第2讲 利用Sqoop有效地传输批量数据34

2.1 Sqoop简介35

2.1.1 Sqoop中的工作流36

2.1.2 Sqoop的特性36

2.2 使用Sqoop 137

2.3 用Sqoop导入数据41

2.3.1 导入完整的表41

2.3.2 用HBase Sqoop导入带有复合键的表42

2.3.3 指定目标目录43

2.3.4 导入选择的行43

2.3.5 密码保护44

2.3.6 用不同的文件格式导入数据44

2.3.7 导入数据压缩45

2.4 控制并行45

2.5 编码NULL值47

2.6 将数据导入Hive表47

2.7 将数据导入HBase47

2.7.1 使用自由形式查询48

2.7.2 重命名Sqoop作业48

2.8 导出数据49

2.8.1 批量导出50

2.8.2 原子导出50

2.9 将数据导出至列的子集50

2.10 Sqoop中的驱动程序和连接器51

2.10.1 驱动程序51

2.10.2 连接器52

2.10.3 连接到数据库52

2.11 Sqoop架构概览54

2.12 Sqoop 255

2.12.1 Sqoop 2的优势56

2.12.2 易于扩展56

2.12.3 安全57

练习58

备忘单60

第3讲 Flume62

3.1 Flume简介63

3.1.1 Flume架构64

3.1.2 流可靠性66

3.2 Flume配置文件66

3.2.1 流定义67

3.2.2 配置单个组件67

3.2.3 在代理中添加多个流68

3.2.4 配置多代理流69

3.2.5 配置流扇出70

3.3 设置Flume71

3.3.1 安装Flume71

3.3.2 配置Flume代理72

3.3.3 数据消费74

3.4 构建Flume77

3.4.1 获得源点77

3.4.2 编译／测试Flume77

3.4.3 开发自定义组件77

练习90

备忘单92

第4讲 超越MapReduce——YARN94

4.1 YARN简介95

4.2 为什么用YARN96

4.2.1 提高可扩展性96

4.2.2 效率97

4.2.3 集群共享97

4.3 YARN生态系统98

4.3.1 YARN架构99

4.3.2 资源100

4.3.3 资源管理器101

4.3.4 ApplicationMaster103

4.3.5 YARN的局限性106

4.4 YARN API例子107

4.4.1 YARN应用程序剖析107

4.4.2 客户端108

4.4.3 把它们整合到一起115

4.5 Mesos和YARN的比较116

4.5.1 Mesos简介116

4.5.2 Mesos和Hadoop118

练习120

备忘单122

第5讲 Storm on YARN124

5.1 Storm和Hadoop125

5.2 Storm简介126

5.2.1 Storm架构126

5.2.2 Storm应用剖析129

5.3 Storm API132

5.3.1 spout132

5.3.2 bolt134

5.4 Storm on YARN134

5.4.1 Storm on YARN架构135

5.4.2 Storm on YARN的局限性136

5.5 安装Storm on YARN136

5.5.1 先决条件136

5.5.2 安装步骤137

5.5.3 排错138

5.5.4 管理YARN on Storm138

5.6 Storm on YARN的例子139

5.6.1 传感器数据spout139

5.6.2 仪表盘bolt140

5.6.3 HDFS日志记录器bolt142

5.6.4 主程序144

5.6.5 运行示例146

练习148

备忘单151

模块2 利用NoSQL和Hadoop：实时、安全和云155

第1讲 Hello NoSQL155

1.1 看两个简单的例子156

1.1.1 持久化偏好数据的一个简单集合——MongoDB156

1.1.2 存储汽车品牌和型号数据——Apache Cassandra162

1.2 利用语言绑定进行工作171

1.2.1 MongoDB的驱动程序171

1.2.2 初识Thrift174

1.3 存储和访问数据177

1.4 在MongoDB中存储和访问数据178

1.5 在HBase中存储和访问数据185

1.6 在Apache Cassandra中存储和访问数据189

1.7 NoSQL数据存储的语言绑定191

1.7.1 用Thrift进行诊断191

1.7.2 Java的语言绑定191

1.7.3 PHP的语言绑定194

练习195

备忘单198

第2讲 使用NoSQL199

2.1 创建记录200

2.2 访问数据213

2.2.1 访问来自MongoDB的文档213

2.2.2 访问来自HBase的数据214

2.2.3 查询Redis215

2.3 更新和删除数据216

2.4 MongoDB查询语言的能力217

2.4.1 加载MovieLens数据219

2.4.2 获取评级数据221

2.4.3 MongoDB中的MapReduce224

2.5 访问来自HBase这样的面向列的数据库的数据228

练习230

备忘单234

第3讲 Hadoop安全236

3.1 Hadoop安全挑战238

3.2 认证239

3.2.1 Kerberos认证239

3.2.2 Kerberos RPC244

3.2.3 基于Web的控制台的Kerberos245

3.3 委托安全凭证248

3.4 授权253

3.4.1 HDFS文件权限253

3.4.2 服务级别授权257

3.4.3 作业授权260

练习261

备忘单263

第4讲 在AWS上运行Hadoop应用程序265

4.1 开始了解AWS266

4.2 在AWS上运行Hadoop的选项267

4.2.1 使用EC2实例的自定义安装267

4.2.2 弹性MapReduce268

4.3 了解EMR-Hadoop的关系269

4.3.1 EMR架构270

4.3.2 使用S3存储271

4.3.3 最大化地利用EMR272

4.3.4 使用CloudWatch和其他AWS组件274

4.3.5 访问和使用EMR274

4.4 使用AWS S3280

4.4.1 了解桶的用法280

4.4.2 利用控制台的内容浏览282

4.4.3 编程访问S3中的文件283

4.4.4 使用MapReduce上传多个文件至S3294

4.5 自动化EMR作业流的创建和作业执行296

4.6 组织协调EMR中作业的执行301

4.6.1 使用EMR集群上的Oozie301

4.6.2 AWS简单工作流303

4.6.3 AWS数据管道304

练习306

备忘单309

第5讲 实时Hadoop311

5.1 实时Hadoop应用312

5.2 使用HBase实现实时应用313

5.2.1 将HBase用作照片管理系统315

5.2.2 将HBase用作Lucene的后端322

5.3 使用专门的实时Hadoop查询系统342

5.3.1 Apache Drill344

5.3.2 Impala345

5.3.3 将实时查询系统与MapReduce比较347

5.4 使用基于Hadoop的事件处理系统347

5.4.1 HFlame348

5.4.2 Storm350

5.4.3 将事件处理与MapReduce作比较352

练习353

备忘单356

模块3 Hadoop商业发行版和管理工具359

第1讲 大数据简介359

1.1 Cloudera基础360

1.1.1 包含Apache Hadoop的Cloudera发行版360

1.1.2 Cloudera管理器361

1.1.3 Cloudera标准版362

1.1.4 Cloudera企业版363

1.2 Cloudera管理器简介365

1.3 Cloudera管理器的管理控制台367

1.3.1 启动并登录管理控制台370

1.3.2 主页370

1.4 添加和管理服务371

1.4.1 添加新服务371

1.4.2 启动服务372

1.4.3 停止服务372

1.4.4 重启服务373

1.5 使用Cloudera管理器的业务案例373

1.6 Cloudera管理器的安装要求374

练习375

备忘单377

第2讲 Cloudera上的Hive和Cloudera管理379

2.1 Apache Hive简介380

2.1.1 Hive特性380

2.1.2 HiveQL380

2.2 Hive服务381

2.2.1 Hive元数据服务器382

2.2.2 Hive网关382

2.2.3 升级Cloudera管理器382

2.3 为Hive元存储配置模式383

2.3.1 嵌入模式383

2.3.2 本地模式384

2.3.3 远程模式385

2.4 配置Hive元存储386

2.4.1 Red Hat操作系统386

2.4.2 SLES操作系统388

2.4.3 Debian／Ubuntu操作系统388

2.5 为Hive设置Cloudera Manager 4.5389

2.6 Hive复制391

练习394

备忘单396

第3讲 Hortonworks和Greenplum PivotalHD397

3.1 Hortonworks数据平台398

3.1.1 核心服务400

3.1.2 数据服务400

3.1.3 操作服务401

3.2 系统需求和环境402

3.2.1 系统需求402

3.2.2 构建一个受支持的环境404

3.3 安装HDP405

3.4 使用Talend Open Studio409

3.4.1 安装Talend Open Studio410

3.4.2 将数据导入Talend Open Studio411

3.4.3 执行数据分析413

3.5 Greenplum Pivotal HD417

练习420

备忘单422

第4讲 IBM InfoSphere Biglnsights和MapR424

4.1 InfoSphere BigInsights简介425

4.1.1 Apache Hadoop发行版的InfoSphere BigInsights组件426

4.1.2 额外的Hadoop技术427

4.1.3 文本分析428

4.1.4 IBM Big SQL服务器428

4.1.5 InfoSphere BigInsights控制台428

4.1.6 InfoSphere BigInsights的Eclipse工具429

4.2 安装准备430

4.2.1 复核系统需求431

4.2.2 选择一个用户431

4.2.3 配置浏览器432

4.2.4 下载InfoSphere BigInsights437

4.2.5 完成常见先决条件的任务437

4.3 安装InfoSphere BigInsights440

4.4 MapR简介442

练习445

备忘单447

第5讲 应聘准备449

5.1 大数据开发者需要的关键技术工具和框架451

5.2 大数据开发者的工作角色和职责452

5.3 大数据开发者职业机会领域453