大数据管理 数据集成的技术、方法与最佳实践【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

大数据管理 数据集成的技术、方法与最佳实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分数据集成导论2

第1章 数据集成的重要性2

1.1数据接口的天然复杂性2

1.2购买供应商应用包的数量日益增加3

1.3大数据和虚拟化的催化剂3

第2章 什么是数据集成5

2.1运动中的数据5

2.2集成为通用格式——数据转换5

2.3数据从一个系统迁移到另一个系统6

2.4在组织内部移动数据6

2.5从非结构化数据中抽取信息8

2.6将处理移动到数据端9

第3章 数据集成的类型和复杂性10

3.1管理运动中的数据和持久化数据的异同点10

3.2批处理数据集成10

3.3实时数据集成11

3.4大数据集成11

3.5数据虚拟化12

第4章 数据集成开发过程13

4.1数据集成开发生命周期13

4.2包含业务知识和专家经验14

第二部分 批处理数据集成18

第5章 批处理数据集成简介18

5.1什么是批处理数据集成18

5.2批处理数据集成生命周期19

第6章 抽取、转换和加载20

6.1什么是ETL20

6.2概要分析20

6.3抽取21

6.4暂存22

6.5访问层次22

6.6转换23

6.6.1简单映射23

6.6.2查找表24

6.6.3聚合和规范化24

6.6.4计算24

6.7加载24

第7章 数据仓库26

7.1什么是数据仓库26

7.2企业数据仓库架构中的层次26

7.2.1操作型应用层26

7.2.2外部数据27

7.2.3数据仓库中的数据暂存区27

7.2.4数据仓库数据结构28

7.2.5从数据仓库到数据集市或者商务智能层的暂存28

7.2.6商务智能层28

7.3加载到数据仓库中的数据类型29

7.3.1数据仓库中的主数据29

7.3.2数据仓库中的余额和快照数据30

7.3.3数据仓库中的事务型数据31

7.3.4事件31

7.3.5调整31

第8章 数据转换39

8.1什么是数据转换39

8.2数据转换生命周期39

8.3数据转换分析39

8.4数据加载最佳实践40

8.5提高源数据质量40

8.6映射到目标系统41

8.7配置数据41

8.8测试和依赖42

8.9私有数据42

8.10校对43

8.11环境43

第9章 数据归档47

9.1什么是数据归档47

9.2归档数据选择47

9.3已归档数据可以恢复吗48

9.4归档环境下数据结构的确认48

9.5灵活的数据结构49

第10章 批处理数据集成架构和元数据54

10.1什么是批处理数据集成架构54

10.2概要分析工具55

10.3建模工具55

10.4元数据存储库55

10.5数据移动56

10.6转换56

10.7调度57

第三部分 实时数据集成64

第11章 实时数据集成简介64

11.1为什么需要实时数据集成64

11.2为什么需要两组技术64

第12章 数据集成模式66

12.1交互模式66

12.2松耦合66

12.3中心和节点模式66

12.4同步交互和异步交互69

12.5请求和应答70

12.6发布和订阅70

12.7两阶段提交70

12.8集成交互类型71

第13章 核心实时数据集成技术72

13.1令人困惑的术语72

13.2企业服务总线72

13.3面向服务架构75

13.4可扩展标记语言77

13.5数据复制和变化数据捕获81

13.6企业应用集成82

13.7企业信息集成82

第14章 数据集成建模84

14.1规范化建模84

14.2消息建模88

第15章 主数据管理89

15.1主数据管理简介89

15.2需要主数据管理方案的原因89

15.3购买的软件包与主数据90

15.4参考数据90

15.5主和从91

15.6外部数据93

15.7主数据管理功能93

15.8主数据管理方案的类型——注册表以及数据中心94

第16章 实时更新数据仓库95

16.1企业信息工厂95

16.2操作型数据存储96

16.3移动到数据仓库的主数据97

第17章 实时数据集成架构和元数据99

17.1实时数据集成元数据简介99

17.2建模100

17.3概要分析100

17.4元数据库101

17.5企业服务总线——数据转换和调度101

17.5.1技术中介101

17.5.2业务内容102

17.6数据移动和中间件102

17.7外部交互102

第四部分 大数据集成106

第18章 大数据集成简介106

18.1数据集成及非结构化数据106

18.2大数据、云数据及数据虚拟化106

第19章 云架构和数据集成107

19.1为什么云中的数据集成比较重要107

19.2公共云107

19.3云安全108

19.4云延迟109

19.5云冗余110

第20章 数据虚拟化111

20.1恰逢其时的一项技术111

20.2数据虚拟化的商业用途112

20.2.1商务智能方案112

20.2.2集成不同类型的数据113

20.2.3快速向数据仓库中增加或者原型增加数据113

20.2.4将物理上不同的数据一起展现113

20.2.5利用不同的数据和模型触发交易114

20.3数据虚拟化架构114

20.3.1源和适配器114

20.3.2映射、模型和视图114

20.3.3转换和展现115

第21章 大数据集成116

21.1什么是大数据116

21.2大数据维度——量116

21.2.1大规模并行处理——将处理过程移动到数据端116

21.2.2 Hadoop和MapReduce117

21.2.3与外部数据集成117

21.2.4虚拟化118

21.3大数据维度——多样性118

21.3.1数据类型118

21.3.2集成不同类型的数据118

21.4大数据维度——速度120

21.4.1流式数据121

21.4.2传感器和GPS数据121

21.4.3社会化媒体数据121

21.5传统大数据应用案例121

21.6更多大数据应用案例122

21.6.1医疗122

21.6.2物流122

21.6.3国家安全122

21.7利用大数据的力量——实施决策支持123

21.7.1触发行动123

21.7.2从内存以及磁盘中检索数据的速度123

21.7.3从数据分析到模型，从流式数据到决策124

21.8大数据架构125

21.8.1操作型系统和数据存储125

21.8.2中间数据中心126

21.8.3商务智能工具126

21.8.4数据虚拟化服务器127

21.8.5批处理和实时数据集成工具127

21.8.6分析型沙盒127

21.8.7风险响应系统/推荐引擎127

第22章 移动数据管理总结132

22.1数据集成架构132

22.1.1为什么需要数据集成架构132

22.1.2数据集成生命周期和专家经验132

22.1.3安全和隐私133

22.2数据集成引擎134

22.2.1操作连贯性134

22.2.2 ETL引擎134

22.2.3企业服务总线135

22.2.4数据虚拟化服务器135

22.2.5数据移动136

22.3数据集成中心136

22.3.1主数据137

22.3.2数据仓库和操作型数据存储137

22.3.3企业内容管理138

22.3.4数据归档138

22.4元数据管理138

22.4.1数据发现138

22.4.2数据概要分析139

22.4.3数据建模139

22.4.4数据流建模139

22.4.5元数据存储库139

22.5结束语140

参考文献141