Storm 大数据流式计算及应用实践【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

Storm 大数据流式计算及应用实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 基础篇 流式数据处理概论3

第1章 大数据环境下的云计算与物联网3

1.1 云计算与物联网3

1.1.1 云计算3

1.1.2 物联网6

1.2 大数据下的新挑战8

1.2.1 大数据及其特征8

1.2.2 大数据处理的技术挑战11

1.3 本章小结14

第2章 流式计算的理论与技术15

2.1 流式数据与流式实时计算15

2.1.1 流式数据15

2.1.2 流式实时计算18

2.2 流式数据处理的系统与应用20

2.2.1 发展与挑战20

2.2.2 Hadoop 2.0生态圈22

2.3 Storm27

2.3.1 起源与发展：Twitter的开源与影响27

2.3.2 功能29

2.3.3 特色：可扩展、可靠的分布式流式数据处理30

2.4 其他开源流式数据处理系统34

2.4.1 Yahoo S434

2.4.2 Spark Streaming37

2.4.3 Facebook Puma41

2.5 本章小结42

第3章 实际案例：城市道路车辆数据的实时监控分析系统43

3.1 背景与需求分析43

3.1.1 背景43

3.1.2 数据处理的业务需求45

3.2 数据处理系统的架构设计与技术选型46

3.2.1 架构设计46

3.2.2 技术选型48

3.3 本章小结49

第二篇 系统篇流式数据处理系统Storm的基础原理53

第4章 Storm的系统架构53

4.1 系统架构与部署模式53

4.1.1 系统架构53

4.1.2 单机／分布式部署56

4.1.3 本地模式58

4.2 系统节点59

4.2.1 Zookeeper：协调节点59

4.2.2 nimbus：主控节点63

4.2.3 supervisor：工作节点65

4.2.4 UI：控制台节点68

4.3 本章小结70

第5章 Storm的通信模型71

5.1 Thrift：可扩展、跨语言的通信软件框架71

5.1.1 Thrift的基础概念71

5.1.2 基于Thrift的数据通信74

5.2 Thrift在Storm中的应用：系统节点间的通信75

5.2.1 接口的定义与实现75

5.2.2 客户端与Storm系统的通信82

5.3 ZeroMQ在Storm中的应用：作业任务间的通信83

5.3.1 ZeroMQ：面向分布式并发应用的高性能异步消息处理库83

5.3.2 Tuple与declareOutputFields（）：数据项结构及声明86

5.4 Storm可配置的通信机制89

5.5 本章小结90

第6章 Storm的作业单元：Topology91

6.1 Topology的构成91

6.2 Stream：组件间的数据传递93

6.2.1 概述93

6.2.2 Stream Grouping：流组模式94

6.2.3 自定义流组101

6.3 构建Topology104

6.3.1 TopologyBuilder与Config104

6.3.2 Topology构建示例106

6.3.3 Topology常见的编程模式107

6.4 本章小结109

第7章 Storm的数据源编程单元：Spout110

7.1 Spout的接口与实现110

7.1.1 Spout与接口层次110

7.1.2 ISpout和IComponent接口111

7.1.3 接口的实现类及实例113

7.2 Spout的使用模式115

7.2.1 直接连接115

7.2.2 队列连接119

7.3 Spout与数据的可靠性121

7.3.1 可靠的Spout与不可靠的Spout121

7.3.2 可靠的Spout的数据项管理122

7.4 本章小结125

第8章 Storm的数据处理编程单元：Bolt126

8.1 Bolt的接口与实现126

8.1.1 Bolt与接口层次126

8.1.2 IBolt和IComponent接口127

8.1.3 接口的实现类及实例131

8.2 Bolt与数据的可靠性133

8.2.1 可靠的Bolt与不可靠的Bolt133

8.2.2 可靠的Bolt的数据项管理133

8.2.3 IBasicBolt和BaseBasicBolt136

8.3 本章小结137

第9章 Storm的保障机制138

9.1 Storm的功能性保障：多粒度的并行化138

9.1.1 并发模型138

9.1.2 并行度配置139

9.1.3 可插拔的自定义调度器144

9.2 Storm的非功能性保障：多级别的可靠性149

9.2.1 不同级别的容错机制149

9.2.2 记录级容错：保障数据项不丢失151

9.2.3 记录级容错的原理：acker任务与追踪算法157

9.3 本章小结164

第10章 Storm的高层使用模式165

10.1 分布式远程过程调用165

10.1.1 概述165

10.1.2 DRPC的构建与使用166

10.1.3 Storm的DRPC原理171

10.2 事务型作业173

10.2.1 概述173

10.2.2 TransactionalTopology的构建与使用175

10.2.3 Transactional Topology的编程接口与事务型作业的实现179

10.2.4 CoordinatedBolt的原理181

10.3 非Java语言的开发182

10.3.1 支持多语言的协议182

10.3.2 Shell组件187

10.4 本章小结189

第三篇 应用篇基于流式数据处理系统Storm的开发193

第11章 Storm的系统部署193

11.1 系统环境193

11.2 依赖程序的安装194

11.2.1 libuuid,libuuid-devel,gcc-c++,libtool194

11.2.2 ZeroMQ和JZMQ196

11.3 Storm的安装与配置198

11.3.1 Zookeeper的安装与配置198

11.3.2 单机模式和集群模式下Storm的安装、配置和启动200

11.3.3 Storm各节点的服务启动203

11.4 Storm集群水平扩展工作节点206

11.5 本章小结207

第12章 Storm应用的开发与调试208

12.1 Eclipse环境下的Storm工程208

12.1.1 Eclipse开发环境208

12.1.2 将Storm-starter组织为Eclipse工程210

12.2 Storm应用的开发、调试与部署212

12.2.1 本地开发与调试212

12.2.2 远程部署213

12.3 常见问题与应对技巧215

12.3.1 ZeroMQ版本215

12.3.2 Zookeeper日志清理216

12.3.3 Topology作业的打包与远程部署216

12.4 本章小结217

第13章 项目案例分析218

13.1 业务计算的设计218

13.1.1 需求分析218

13.1.2 概要设计219

13.2 业务计算的实现220

13.2.1 Topology的构建220

13.2.2 JmsSpout的实现222

13.2.3 三个Bolt的实现224

13.3 本章小结229

附录230

参考文献244

后记249