Flume 构建高可用、可扩展的海量日志采集系统【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

Flume 构建高可用、可扩展的海量日志采集系统PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 认识Apache Hadoop和Apache HBase1

分布式文件系统HDFS1

HDFS的数据格式3

处理HDFS中的数据4

Apache HBase4

总结5

参考文献6

第2章 用Apache Flume处理流数据7

我们需要Flume7

Flume是否适合呢？9

Flume Agent内部原理10

配置Flume Agent13

Flume Agent之间的相互通信17

复杂的流17

复制数据到不同目的地20

动态路由21

Flume的无数据丢失保证，Channel和事务22

Flume Channel中的事务23

Agent失败和数据丢失25

批量的重要性26

重复怎么样？27

运行Flume Agent27

总结29

参考文献30

第3章 源（Source）31

Source的生命周期31

Sink-to-Source通信33

Avro Source34

Thrift Source37

RPC Sources的失败处理39

HTTP Source40

针对HTTP Source写处理程序42

Spooling Directory Source47

使用Deserializers读取自定义格式50

Spooling Directory Source性能55

Syslog Source55

Exec Source59

JMS Source61

转换JMS消息为Flume事件63

编写自定义Source65

Event-Driven Source和Pollable Source66

总结73

参考文献73

第4章 Channel75

事务工作流76

Flume自带的Channel78

Memory Channel78

File Channel80

总结86

参考文献86

第5章 Sink87

Sink的生命周期88

优化Sink的性能89

写入到HDFS:HDFS Sink89

理解Bucket90

配置HDFS Sink93

使用序列化器控制数据格式100

HBase Sink106

用序列化器将Flume事件转换成HBase Put和Increment108

RPC Sink113

Avro Sink113

Thrift Sink115

Morphline Solr Sink116

Elastic Search Sink119

自定义数据格式121

其他Sink:Null Sink、Rolling File Sink和Logger Sink124

编写自定义Sink125

总结129

参考文献129

第6章 拦截器、Channel选择器、Sink组和Sink处理器131

拦截器131

时间戳拦截器132

主机拦截器133

静态拦截器133

正则过滤拦截器134

Morphline拦截器135

UUID拦截器136

编写拦截器137

Channel选择器140

复制Channel选择器140

多路复用Channel选择器141

自定义Channel选择器144

Sink组和Sink处理器146

Load-Balancing Sink处理器148

Failover Sink处理器151

总结153

参考文献154

第7章 发送数据到Flume155

构建Flume事件155

Flume客户端SDK156

创建Flume RPC客户端157

RPC客户端接口157

所有RPC客户端的公共配置参数158

默认RPC客户端165

Load-Balancing RPC客户端168

Failover RPC客户端171

Thrift RPC客户端172

嵌入式Agent173

配置嵌入式Agent175

log4j Appender180

Load-Balancing log4j Appender181

总结182

参考文献183

第8章 规划、部署和监控Flume185

规划一个Flume部署185

修复时间185

我的Flume Channel需要多少容量？186

多少层？186

通过跨数据中心链接发送数据188

层分片190

部署Flume191

部署自定义代码191

监控Flume193

从自定义组件报告度量196

总结196

参考文献196

索引197