大数据 数据管理与数据工程【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

大数据 数据管理与数据工程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 大数据管理理论框架与生态系统3

第1章 大数据概述3

1.1大数据时代3

1.2什么是大数据4

1.2.1大数据定义4

1.2.2大数据特征5

1.2.3大数据结构类型5

1.2.4数据、信息、知识与智能的关系6

1.3大数据发展史9

1.3.1数据管理发展历程9

1.3.2大数据的演变及回顾12

1.4大数据的度量和价值15

1.4.1大数据的度量15

1.4.2大数据的价值15

1.5大数据生态系统17

1.5.1大数据生态系统全貌17

1.5.2大数据生态系统框架18

1.6大数据应用研究方向21

1.6.1大数据管理与技术22

1.6.2大数据科学与工程22

1.7大数据的挑战23

1.7.1大数据管理方面带来的挑战23

1.7.2大数据技术方面带来的挑战23

1.7.3大数据工程方面带来的挑战23

第2章 大数据战略与商业模式变革25

2.1大数据战略25

2.1.1国外大数据战略视角26

2.1.2国内大数据战略视角29

2.2大数据商业模式和商业机会32

2.2.1基于大数据的商业模式创新32

2.2.2大数据对企业管理决策的影响38

2.2.3基于大数据驱动的商业机会39

2.3大数据市场的行业应用需求44

2.3.1移动互联网和社交网络44

2.3.2政府公共管理46

2.3.3教育科研行业48

2.3.4金融行业50

2.3.5医疗健康业51

2.3.6中国制造202552

2.3.7智能交通领域54

第3章 大数据平台的架构体系56

3.1大数据基础设施56

3.1.1虚拟化57

3.1.2云计算57

3.1.3数据中心62

3.2数据采集63

3.2.1系统日志采集方法63

3.2.2网络数据采集方法：对非结构化数据的采集63

3.2.3其他数据采集方法63

3.3数据存储67

3.3.1结构化数据存储69

3.3.2非结构化数据存储70

3.4数据处理71

3.4.1离线批处理72

3.4.2实时交互计算74

3.4.3流计算76

3.5数据交互展示78

3.5.1数据可视化基础79

3.5.2数据可视化模式80

3.5.3数据可视化工具81

3.6大数据应用84

3.7运营管理85

3.8安全管理85

第4章 大数据的数据整合、交换与交易87

4.1大数据平台整合89

4.1.1 HDFS分布式文件系统90

4.1.2 MapReduce分布式计算框架91

4.1.3 HBase分布式数据库94

4.1.4交互式数据查询分析95

4.1.5数据收集、转换工具96

4.1.6其他大数据平台96

4.2大数据与存储架构的整合98

4.2.1传统存储架构98

4.2.2集群存储的发展99

4.2.3基于HDFS的集群存储100

4.2.4固态硬盘对内存计算的支持101

4.3大数据与网络架构的发展103

4.4大数据与虚拟化技术的整合105

4.5 Hadoop环境下的数据整合107

4.5.1 Hadoop计算环境下的数据整合问题107

4.5.2数据库整合工具Sqoop108

4.5.3 Hadoop平台内部数据整合工具HCatalog109

4.6大数据数据交换110

4.6.1数据集成技术111

4.6.2数据交换体系应用框架113

4.6.3数据交换关键技术114

4.7大数据交易116

4.7.1大数据交易产业链118

4.7.2大数据交易业务模式分析120

4.7.3大数据交易发展趋势122

第5章 大数据管理和治理124

5.1建立数据驱动的管理体系和架构126

5.1.1建立数据管理组织和团队126

5.1.2建立数据管理规章和制度127

5.2大数据治理体系127

5.2.1数据标准管理128

5.2.2数据质量管理129

5.2.3元数据管理130

5.2.4主数据管理131

5.2.5数据资产的全生命周期管理131

5.3大数据技术管理体系134

5.3.1数据类型和结构134

5.3.2数据存储管理135

5.3.3数据仓库和商业智能137

5.3.4数据计算和处理138

5.3.5数据展示与交互138

5.4大数据事务管理138

5.4.1事务的基本属性139

5.4.2大数据事务管理机制140

5.5大数据流程管理140

5.6大数据易用性管理142

5.7数据的安全管理142

第6章 大数据创新方法论148

6.1大数据的爆发148

6.2大数据创新理论150

6.2.1大数据的宏观性和微观性150

6.2.2大数据的生产要素性151

6.2.3大数据的基因特性151

6.2.4大数据的催化剂特性152

6.2.5大数据的活性和流动性152

6.2.6大数据的黑洞效应和核聚变效应152

6.3大数据创新方法论153

6.4信息演变趋势154

6.5大数据创新实践闭环155

6.6中国创新创业大数据版图156

6.6.1大数据时代的数据管理157

6.6.2大众创业万众创新的浪潮157

6.6.3中国创新创业大数据版图的推出158

6.6.4双创版图中的大数据管理挑战160

6.6.5双创版图中大数据技术的集中运用161

6.6.6双创大数据版图的意义163

第二部分 数据科学和数据工程167

第7章 数据科学理论与工具167

7.1数据科学理论基础167

7.1.1数据科学概念167

7.1.2数据科学预测预警分析168

7.1.3商业智能与数据科学169

7.2数据科学研究的重要角色170

7.2.1数据科学家171

7.2.2数据科学与工程相关角色172

7.3大数据生命周期管理方法论172

7.3.1数据分析模型概述173

7.3.2数据分析模型流程框架175

7.3.3数据分析模型创新案例175

7.3.4数据分析工具183

7.4数据仓库理论187

7.4.1数据仓库的主要特征187

7.4.2数据仓库建模187

7.4.3数据仓库设计188

7.4.4数据仓库建设方法论189

7.4.5数据仓库相关技术190

7.4.6 DW、OLAP与DM的关系192

7.5数据挖掘高级理论193

7.5.1聚类分析193

7.5.2关联分析197

7.5.3回归和分类分析202

7.5.4时序模型212

7.5.5结构优化214

7.5.6深度机器学习216

7.6大数据语义分析知识发现221

7.6.1大数据知识发现过程221

7.6.2大数据知识发现技术框架225

7.6.3大数据知识发现专家系统225

7.6.4企业大数据知识管理框架229

7.7大数据分析处理平台230

7.7.1结构化大数据处理架构230

7.7.2非结构化大数据处理架构233

7.7.3主流大数据分析平台236

第8章 医疗健康大数据解决方案242

8.1医疗信息化244

8.1.1美国医疗信息化发展情况244

8.1.2我国医疗信息化发展趋势247

8.1.3医疗健康大数据挑战和机遇249

8.2医疗健康大数据综述250

8.2.1医疗健康大数据类型251

8.2.2临床服务数据252

8.2.3公共卫生调查和监测数据252

8.2.4医学研究性数据252

8.2.5个人健康数据252

8.3医疗健康大数据总体架构253

8.3.1建设原则253

8.3.2建设目标253

8.3.3医疗健康大数据业务架构254

8.3.4医疗健康大数据技术架构255

8.3.5医疗健康大数据网络架构256

8.4医疗健康数据中心解决方案257

8.4.1医疗数据中心架构设计方案258

8.4.2集中存储解决方案259

8.4.3 PACS数据存储方案262

8.4.4容灾备份解决方案267

8.5医疗健康大数据分析268

8.5.1医疗实体对象建模分析269

8.5.2医疗个人健康档案建模分析269

8.5.3相关数据特征对比分析271

8.5.4临床信息学大数据分析272

8.5.5医学文献研究知识发现273

8.6医疗健康大数据展望275

第9章 环保行业大数据解决方案277

9.1环保物联网278

9.1.1物联网概念278

9.1.2物联网基本架构279

9.1.3环保物联网数据281

9.2环保电力脱硫281

9.2.1火电脱硫的重要性281

9.2.2火电脱硫系统工作原理281

9.2.3火电脱硫相关数据282

9.2.4脱硫性能优化目标282

9.3火电行业脱硫大数据分析283

9.3.1主要理论和方法283

9.3.2最优化脱硫可调参数284

9.3.3最小化脱硫系统成本285

9.4空气质量大数据分析评价体系285

9.4.1基于熵权的模糊综合评价方法的原理286

9.4.2综合评价指标选择与数据来源287

9.4.3环境质量综合评价结果及分析287

第10章 移动社交大数据解决方案290

10.1移动社交网络发展情况291

10.1.1移动社交网络发展现状291

10.1.2移动社交网络发展方向293

10.2社交网络基础理论和商业模式294

10.2.1社交网络相关理论294

10.2.2社交化商业模式296

10.3移动社交网络数据处理架构297

10.3.1移动社交网络服务架构模型297

10.3.2 Facebook应用案例298

10.4移动社交网络大数据分析302

10.4.1社交网络平台行为影响分析模型302

10.4.2社交网络单平台内影响力分析303

10.4.3社交网络多平台影响力分析305

第11章 金融大数据解决方案307

11.1金融信息化307

11.1.1全球金融信息化发展历程307

11.1.2我国金融信息化发展趋势308

11.2金融大数据综述309

11.2.1金融大数据的特征309

11.2.2金融大数据的机遇和挑战310

11.3金融大数据平台总体架构311

11.3.1建设原则和目标312

11.3.2金融大数据业务架构313

11.3.3金融大数据技术架构314

11.3.4金融大数据网络架构316

11.4金融大数据分析316

11.4.1银行风险管理状况分析316

11.4.2金融大数据风险管理云平台318

11.4.3大数据征信320

11.4.4大数据反欺诈323

11.4.5大数据精准营销325

11.5金融大数据带来的产业变革327

第12章 中国制造大数据解决方案330

12.1全球工业信息化发展历程和现状330

12.1.1美国工业信息化发展历程和现状331

12.1.2日本工业信息化发展历程和现状333

12.1.3德国工业信息化发展历程和现状334

12.1.4我国工业信息化发展历程和现状337

12.1.5我国《中国制造2025》的发展战略338

12.2工业信息化技术集成和协同发展方向340

12.2.1集成和协同的空间跨度340

12.2.2集成和协同的时间跨度341

12.2.3集成和协同的重点和对象342

12.2.4主要的集成和协同技术343

12.3中国制造信息化应用系统343

12.3.1工业设计自动化系统343

12.3.2制造控制自动化系统346

12.3.3制造执行系统347

12.3.4柔性制造系统348

12.3.5工业互联网与CPS系统349

12.3.6 ERP信息系统351

12.4工业大数据架构体系353

12.4.1互联网催生工业大数据353

12.4.2工业大数据内涵特征354

12.4.3工业大数据业务架构355

12.4.4工业大数据技术架构357

12.4.5工业大数据安全架构358

12.5智能化协同制造体系架构359

12.5.1智能化协同制造发展需求359

12.5.2智能化协同制造总体架构360

12.5.3智能化协同制造设计思想362

12.5.4智能化协同制造应用场景367

12.6智能化协同制造服务生命周期过程367

12.6.1制造资源服务集成与发现368

12.6.2制造服务资源访问策略371

12.6.3制造服务资源的优化与智能调度371

12.6.4智能化协同制造研究与自学习机制375

12.7工业大数据展望377

第13章 大数据工程保障体系建设378

13.1法律体系建设378

13.2.标准体系建设380

13.3建立标准化大数据治理体系386

13.4加强大数据行业应用研究387

13.5加强元数据的研究和应用387

13.6加强大数据核心技术研究387

13.7促进大数据交易市场的规范化发展388

13.8推动大数据标准化进程388

参考文献389