实战大数据PDF|Epub|txt|kindle电子书版本网盘下载

实战大数据PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 大数据基础篇2

第1章 大数据介绍2

1.1 大数据相关概念2

1.1.1 大数据的历史2

1.1.2 大数据的定义3

1.2 大数据研究内容6

1.3 大数据研究现状10

1.3.1 学术界现状10

1.3.2 产业界现状12

1.3.3 政府机构现状15

1.4 大数据的应用领域18

1.4.1 大数据在制造业的应用19

1.4.2 大数据在服务业的应用20

1.4.3 大数据在交通行业的应用20

1.4.4 大数据在医疗行业的应用20

1.5 本章小结21

第2章 数据存储技术22

2.1 数据存储技术介绍23

2.2 数据采集与存储技术研究现状25

2.2.1 传统关系型数据库25

2.2.2 新兴数据存储系统26

2.3 海量数据存储的关键技术分析27

2.3.1 数据划分27

2.3.2 数据一致性与可用性28

2.3.3 负载均衡29

2.3.4 容错机制29

2.3.5 海量数据存储的硬件支持30

2.4 数据存储技术的实现与工具36

2.4.1 集中式数据存储管理系统Bigtable36

2.4.2 非集中式的大规模数据管理系统Dynamo44

2.4.3 BigTable的开源实现HBase50

2.4.4 MongoDB52

2.4.5 CouchDB55

2.4.6 Redis56

2.4.7 Hypertable60

2.4.8 其他开源NoSQL数据库62

2.5 本章小结69

第3章 数据抽取和清洗70

3.1 数据抽取和清洗技术介绍71

3.1.1 数据抽取简介71

3.1.2 数据清洗简介73

3.2 数据抽取和清洗研究现状76

3.3 数据抽取技术的实现78

3.3.1 Web数据抽取78

3.3.2 非结构化数据抽取93

3.3.3 基于云计算的海量数据分析100

3.4 数据清洗技术的实现103

3.4.1 数据清洗流程103

3.4.2 数据清洗框架105

3.4.3 数据清洗相关技术109

3.4.4 基于Hadoop的数据清洗方案115

3.5 ETL现状与发展122

3.5.1 数据ETL简介122

3.5.2 基于MapReduce的ETL框架123

3.5.3 ETL工具130

3.5.4 ETL展望137

3.6 本章小结138

第4章 数据集成139

4.1 数据集成技术介绍139

4.2 数据集成技术研究现状141

4.2.1 Information Manifold：具有统一的查询接口141

4.2.2 数据集成系统的发展建设144

4.2.3 企业信息集成147

4.2.4 未来的挑战148

4.3 数据集成技术的实现与工具150

4.3.1 Oracle Data Integrator（ODI）简介150

4.3.2 ODI的特点156

4.3.3 Microsoft SQL Server Integration Services（SSIS）简介156

4.3.4 SSIS的特点160

4.3.5 IBM InfoSphere Information Server简介162

4.3.6 Sybase Data Integrator Suite简介168

4.4 本章小结174

第5章 数据查询、分析与建模技术175

5.1 数据查询、分析与建模技术介绍175

5.1.1 数据查询175

5.1.2 数据分析177

5.1.3 数据建模177

5.2 数据查询、分析与建模技术研究现状178

5.2.1 并行处理178

5.2.2 海量数据查询与搜索180

5.2.3 数据分析中的OLAP与数据挖掘技术183

5.2.4 数据模型与数据建模方法191

5.3 数据查询、分析与建模技术的实现与工具194

5.3.1 数据查询相关技术实现与工具194

5.3.2 数据分析相关技术实现与工具200

5.3.3 数据建模相关技术实现与工具211

5.4 本章小结215

第二篇 大数据深入篇217

第6章 采用OSGi框架构建可伸缩的异构数据采集平台217

6.1 应用背景217

6.2 需求分析与总体设计219

6.2.1 功能需求219

6.2.2 非功能需求220

6.2.3 总体设计220

6.3 相关技术介绍222

6.3.1 OSGi框架介绍222

6.3.2 多源异构数据的获取226

6.4 系统设计与实现232

6.4.1 异构数据采集平台的设计232

6.4.2 数据采集插件的设计与实现236

6.4.3 系统服务框架的设计与实现245

6.5 部署与测试251

6.5.1 系统部署251

6.5.2 系统测试253

6.6 本章小结257

第7章 采用HBase实现海量小型XML文档的存储与检索258

7.1 应用背景258

7.2 需求分析与总体设计259

7.2.1 需求分析259

7.2.2 总体设计265

7.3 相关技术介绍268

7.3.1 XML相关技术268

7.3.2 XQuery语句269

7.3.3 XML检索技术270

7.3.4 云计算和HBase272

7.3.5 JavaCC工具介绍274

7.4 详细设计与实现275

7.4.1 数据存储模块的详细设计与实现276

7.4.2 数据检索模块的详细设计与实现289

7.4.3 用户模块的详细设计与实现299

7.5 本章小结301

第8章 采用Map/Reduce进行大规模社交网络社团发现302

8.1 研究背景302

8.2 相关理论和技术305

8.2.1 社团结构305

8.2.2 相关社团发现算法306

8.2.3 Hadoop分布计算框架309

8.3 RMS算法的并行化实现312

8.3.1 RMS算法312

8.3.2 RMS算法在MapReduce上的实现314

8.4 AP聚类算法的并行化实现317

8.4.1 AP聚类算法317

8.4.2 AP聚类算法在MapReduce上的实现319

8.5 实验与分析324

8.5.1 实验环境324

8.5.2 实验与结果分析325

8.6 本章小结327

第9章 数据统一访问与转换平台329

9.1 应用背景介绍329

9.2 数据统一访问需求分析与总体设计333

9.2.1 功能性需求分析333

9.2.2 非功能性需求分析338

9.2.3 总体设计339

9.3 数据统一访问与转换关键技术342

9.3.1 SDO编程技术342

9.3.2 Hadoop MapReduce框架349

9.3.3 HBase数据库技术351

9.3.4 模型驱动数据转换技术353

9.4 数据统一访问和灵活转换的详细设计与实现355

9.4.1 数据分析及预处理355

9.4.2 基于DAS的数据源统一访问360

9.4.3 映射模式表示与数据存储管理模块369

9.4.4 基于MapReduce的数据转换管理模块374

9.5 本章小结378

第三篇 大数据应用篇380

第10章 基于微博的股票市场预测系统380

10.1 应用背景介绍380

10.2 需求分析与总体设计382

10.2.1 需求分析382

10.2.2 总体设计391

10.3 相关技术介绍393

10.3.1 社交网络393

10.3.2 社交网络表示方法395

10.3.3 信息传播模型396

10.4 详细设计与实现398

10.4.1 Twitter数据采集模块详细设计398

10.4.2 Twitter数据分析模块详细设计401

10.4.3 用户行为分析模块详细设计407

10.4.4 预测股票价格涨跌模块详细设计413

10.4.5 系统实现419

10.5 本章小结424

第11章 基于内容的海量视频检索系统426

11.1 应用背景426

11.2 需求分析与总体设计427

11.2.1 功能需求427

11.2.2 非功能需求431

11.2.3 核心业务处理流程431

11.2.4 总体设计435

11.3 相关技术简介438

11.3.1 MPEG-7与OpenCV简介438

11.3.2 运动对象提取440

11.3.3 星形骨架方法443

11.4 详细设计与实现449

11.4.1 基于MapReduce的视频预处理449

11.4.2 基于HBase的视频数据存储455

11.4.3 行为识别与运动规则的组合创建470

11.5 系统运行时截图475

11.6 本章小结477

第12章 基于HDFS的云文件系统478

12.1 应用背景介绍478

12.2 需求分析与总体设计479

12.2.1 需求分析479

12.2.2 总体设计488

12.3 相关技术介绍491

12.3.1 Hadoop HDFS介绍491

12.3.2 主控节点和数据节点493

12.3.3 页面展现技术494

12.3.4 页面控制技术494

12.4 详细设计与实现495

12.4.1 云文件系统的操作流程495

12.4.2 云文件系统的模块设计496

12.4.3 云文件系统实现506

12.4.4 云文件系统主要功能截图519

12.5 本章小结525