基于元数据驱动通用操作器的数据仓储构建【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

基于元数据驱动通用操作器的数据仓储构建PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 数据仓储与数据1

1.2 数据仓储的上下文3

1.3 数据仓储的分类5

1.3.1 拓扑结构／后台分类5

1.3.2 组织机构／前端分类6

1.3.3 时间性／更新分类7

1.3.4 地理特性／位置分类7

1.4 数据仓储需满足的要求8

1.4.1 功能性要求8

1.4.2 信息性要求9

1.4.3 操作性要求9

1.4.4 经济性要求10

1.4.5 安全性要求10

1.5 数据仓储方法论11

1.5.1 教条的开发方法：自上而下12

1.5.2 实用的开发方法：自下而上12

1.5.3 有效的方法：居顶不下13

1.6 数据仓储构建的方法13

1.6.1 老方法：手工ELT法13

1.6.2 新方法：工具辅助的ETL法15

1.6.3 现代方法：工具辅助的ELT法17

1.6.4 未来的方法：基于MGO的ELT法18

1.7 构建本书同时构建一数据仓储20

第一篇 设计问题、概念和体系结构25

第2章 体系结构概要25

第3章 预备域28

3.1 源应用系统28

3.1.1 分析28

3.1.2 接口33

3.2 预备域34

3.2.1 平面文件区34

3.2.2 原始表区35

3.2.3 已预备表区36

3.2.4 平面文件加载36

3.2.5 错误拒绝39

3.2.6 变化量识别40

3.2.7 列清洗和域完整性的保证42

3.2.8 行过滤43

3.2.9 操作识别46

3.2.10 最小设计原则46

第4章 处理域48

4.1 数据48

4.1.1 代码数据48

4.1.2 对象数据49

4.1.3 事件数据50

4.2 时间性52

4.2.1 历史化52

4.2.2 归档59

4.2.3 三时维60

4.3 数据完整性61

4.3.1 参照完整性62

4.3.2 实体完整性63

4.4 收集64

4.4.1 事件数据归档65

4.4.2 对象数据历史化65

4.4.3 代码数据历史化66

4.5 整合67

4.5.1 对象标识转换68

4.5.2 列数据转换72

4.5.3 表模式转换73

4.6 完整性保证74

4.6.1 参照完整性保证75

4.6.2 实体完整性保证79

4.7 错误处理81

4.8 处理域组件81

第5章 存储域84

5.1 中央存储区84

5.1.1 逻辑数据模型和规范化84

5.1.2 物理数据模型和去规范化87

5.2 分析展示层89

5.3 效能强化区90

5.3.1 维度数据模型91

5.3.2 特殊结构95

5.3.3 模型转换95

5.4 使用数据区95

5.5 访问控制层97

5.6 存储域组件100

第6章 基础设施102

6.1 进程管理102

6.1.1 依赖关系图102

6.1.2 事务模型103

6.2 元数据管理105

6.2.1 元数据105

6.2.2 采集、管理和利用106

6.3 对象组织106

第二篇 组件、算法与技术111

第7章 数据预备111

7.1 平面文件加载111

7.1.1 平面文件加载器111

7.1.2 平面文件加载脚本112

7.2 变化量识别113

7.3 列清洗115

7.3.1 缺省值115

7.3.2 列清洗器116

7.4 行过滤117

7.4.1 日志机制118

7.4.2 行过滤器119

7.5 数据导出120

第8章 数据处理122

8.1 数据收集122

8.1.1 对象建史器123

8.1.2 事件归档器124

8.1.3 行存储器126

8.1.4 行移除器128

8.2 数据整合129

8.2.1 代理键生成器129

8.2.2 键转换器131

8.2.3 列数据转换器132

8.2.4 关系代数运算符134

8.2.5 连接构建器137

8.3 参照完整性保证141

8.3.1 等待空间管理器141

8.3.2 外键处理器143

8.3.3 代码表补充器147

8.4 实体完整性保证机制148

8.4.1 重叠检测器149

8.4.2 优先权决定器150

8.4.3 双时维重叠的基本组合153

8.4.4 基本矩形分解器154

8.4.5 重叠消除器157

8.4.6 重叠解决举例158

8.4.7 分析161

第9章 数据存储166

9.1 关系数据操作166

9.1.1 IS-A关系166

9.1.2 递归关系169

9.1.3 一个现实世界的模式171

9.1.4 主从关系173

9.1.5 物理处理174

9.2 维度数据处理177

9.2.1 M:N关系177

9.2.2 多层去规范化器178

9.2.3 时间段分割器179

9.2.4 时间链压缩器183

9.2.5 事实处理190

9.3 访问控制191

第三篇 构建范式及元数据驱动通用操作器197

第10章 范式基础197

10.1 传统范式197

10.2 信息基础：通用知识及元数据199

10.2.1 通用知识200

10.2.2 元数据201

10.3 抽象基础：操作符操作于操作数202

10.4 管理基础：解释器与编译器204

10.4.1 MG操作器的实质204

10.4.2 基于元数据的通用方法的比较206

10.5 体系结构基础：转换配置208

10.5.1 分布式转换和集中式转换209

10.5.2 ETL服务器和数据库服务器211

10.6 新范式的设计原则211

第11章 元数据驱动的通用操作器215

11.1 概述215

11.1.1 第一级OoO-观察215

11.1.2 第二级OoO-观察216

11.2 平面文件加载器217

11.2.1 描述217

11.2.2 构建218

11.3 过滤清洗操作器219

11.3.1 描述219

11.3.2 构建220

11.4 变化量识别器221

11.4.1 描述221

11.4.2 构建222

11.5 数据导出器223

11.5.1 描述223

11.5.2 构建223

11.6 代理键生成器224

11.6.1 描述224

11.6.2 构建224

11.7 数据处理器225

11.7.1 描述225

11.7.2 构建225

11.8 行存储器227

11.8.1 描述227

11.8.2 构建227

11.9 行移除器228

11.9.1 描述228

11.9.2 构建228

11.10 重叠解除器229

11.10.1 描述229

11.10.2 构建229

11.10.3 计算效率233

11.10.4 用法234

11.11 代码补充器236

11.11.1 描述236

11.11.2 构建236

11.12 维度加载器237

11.12.1 描述237

11.12.2 构建237

11.13 数据抽取器238

11.13.1 描述239

11.13.2 构建240

11.14 工具操作器241

11.14.1 索引顾问241

11.14.2 统计顾问242

11.14.3 计划生成器243

第四篇 生存环境及更多249

第12章 基础设施环境249

12.1 进程管理和异常处理249

12.1.1 进程管理和并发控制249

12.1.2 异常处理253

12.1.3 日志管理257

12.2 数据错误及拒绝处理258

12.3 元数据管理259

12.3.1 元数据表总结259

12.3.2 元数据维护262

12.3.3 元数据语言的表达力265

12.3.4 特例处理266

第13章 方法论与经济学上的分析268

13.1 V-模型268

13.2 两种方法的经济比较269

13.2.1 传统方法270

13.2.2 MGO方法272

13.3 效率分析275

13.4 启用MGO277

13.5 从旧系统过渡到新系统279

第14章 结束语282

14.1 一个真实世界的案例282

14.1.1 前映像282

14.1.2 后映像286

14.2 MGO特色的总结287

14.2.1 MGO方法的优点288

14.2.2 MGO方法的缺点289

14.3 展望290

14.4 致谢291

索引292