大数据技术原理与应用 概念 存储 处理 分析与应用PDF|Epub|txt|kindle电子书版本网盘下载

大数据技术原理与应用 概念 存储 处理 分析与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 大数据基础2

第1章 大数据概述2

1.1 大数据时代2

1.1.1 第三次信息化浪潮2

1.1.2 信息科技为大数据时代提供技术支撑3

1.1.3 数据产生方式的变革促成大数据时代的来临5

1.1.4 大数据的发展历程6

1.2 大数据的概念7

1.2.1 数据量大7

1.2.2 数据类型繁多8

1.2.3 处理速度快8

1.2.4 价值密度低9

1.3 大数据的影响9

1.3.1 大数据对科学研究的影响9

1.3.2 大数据对思维方式的影响10

1.3.3 大数据对社会发展的影响11

1.3.4 大数据对就业市场的影响12

1.3.5 大数据对人才培养的影响12

1.4 大数据的应用13

1.5 大数据关键技术14

1.6 大数据计算模式14

1.6.1 批处理计算15

1.6.2 流计算15

1.6.3 图计算15

1.6.4 查询分析计算16

1.7 大数据产业16

1.8 大数据与云计算、物联网17

1.8.1 云计算17

1.8.2 物联网20

1.8.3 大数据与云计算、物联网的关系24

1.9 本章小结25

1.10 习题25

第2章 大数据处理架构Hadoop26

2.1 概述26

2.1.1 Hadoop简介26

2.1.2 Hadoop的发展简史26

2.1.3 Hadoop的特性27

2.1.4 Hadoop的应用现状27

2.2 Hadoop的项目结构28

2.2.1 Common28

2.2.2 Avro29

2.2.3 HDFS29

2.2.4 HBase29

2.2.5 MapReduce29

2.2.6 Zookeeper30

2.2.7 Hive30

2.2.8 Pig30

2.2.9 Sqoop30

2.2.10 Chukwa30

2.3 Hadoop的安装与使用31

2.3.1 创建Hadoop用户31

2.3.2 Java的安装31

2.3.3 SSH登录权限设置32

2.3.4 安装单机Hadoop32

2.3.5 Hadoop伪分布式安装33

2.4 本章小结35

2.5 习题36

第二篇 大数据存储40

第3章 Hadoop分布式文件系统40

3.1 分布式文件系统40

3.1.1 计算机集群结构40

3.1.2 分布式文件系统的结构41

3.1.3 分布式文件系统的设计需求42

3.2 HDFS简介42

3.3 HDFS的相关概念43

3.3.1 块43

3.3.2 名称节点和数据节点44

3.4 HDFS体系结构45

3.4.1 概述45

3.4.2 HDFS命名空间管理46

3.4.3 通信协议46

3.4.4 客户端46

3.4.5 HDFS体系结构的局限性46

3.5 HDFS的存储原理46

3.5.1 冗余数据的保存46

3.5.2 数据存取策略47

3.5.3 数据错误与恢复48

3.6 HDFS的数据读写过程49

3.6.1 读数据的过程49

3.6.2 写数据的过程50

3.7 HDFS编程实践51

3.7.1 HDFS常用命令51

3.7.2 HDFS的Web界面52

3.7.3 HDFS常用Java API及应用实例53

3.8 本章小结56

3.9 习题57

第4章 分布式数据库HBase59

4.1 概述59

4.1.1 从BigTable说起59

4.1.2 HBase简介59

4.1.3 HBase与传统关系数据库的对比分析60

4.2 HBase访问接口61

4.3 HBase数据模型62

4.3.1 数据模型概述62

4.3.2 数据模型的相关概念62

4.3.3 数据坐标64

4.3.4 概念视图64

4.3.5 物理视图65

4.3.6 面向列的存储65

4.4 HBase的实现原理67

4.4.1 HBase的功能组件67

4.4.2 表和Region68

4.4.3 Region的定位69

4.5 HBase运行机制70

4.5.1 HBase系统架构70

4.5.2 Region服务器的工作原理72

4.5.3 Store的工作原理73

4.5.4 HLog的工作原理73

4.6 HBase编程实践74

4.6.1 HBase常用的Shell命令74

4.6.2 HBase常用的Java API及应用实例76

4.7 本章小结86

4.8 习题86

第5章 NoSQL数据库90

5.1 NoSQL简介90

5.2 NoSQL兴起的原因91

5.2.1 关系数据库无法满足Web 2.0的需求92

5.2.2 关系数据库的关键特性在Web 2.0时代成为“鸡肋”92

5.3 NoSQL与关系数据库的比较93

5.4 NoSQL的四大类型95

5.4.1 键值数据库96

5.4.2 列族数据库96

5.4.3 文档数据库97

5.4.4 图形数据库97

5.5 NoSQL的三大基石98

5.5.1 CAP98

5.5.2 BASE100

5.5.3 最终一致性101

5.6 从NoSQL到NewSQL数据库102

5.7 本章小结104

5.8 习题104

第6章 云数据库105

6.1 云数据库概述105

6.1.1 云计算是云数据库兴起的基础105

6.1.2 云数据库的概念106

6.1.3 云数据库的特性107

6.1.4 云数据库是个性化数据存储需求的理想选择108

6.1.5 云数据库与其他数据库的关系109

6.2 云数据库产品110

6.2.1 云数据库厂商概述110

6.2.2 Amazon的云数据库产品110

6.2.3 Google的云数据库产品111

6.2.4 微软的云数据库产品111

6.2.5 其他云数据库产品112

6.3 云数据库系统架构112

6.3.1 UMP系统概述112

6.3.2 UMP系统架构113

6.3.3 UMP系统功能115

6.4 云数据库实践118

6.4.1 阿里云RDS简介118

6.4.2 RDS中的概念118

6.4.3 购买和使用RDS数据库119

6.4.4 将本地数据库迁移到云端RDS数据库123

6.5 本章小结124

6.6 习题125

第三篇 大数据处理与分析128

第7章 MapReduce128

7.1 概述128

7.1.1 分布式并行编程128

7.1.2 MapReduce模型简介129

7.1.3 Map和Reduce 函数129

7.2 MapReduce的工作流程130

7.2.1 工作流程概述130

7.2.2 MapReduce的各个执行阶段131

7.2.3 Shuffle过程详解132

7.3 实例分析：WordCount135

7.3.1 WordCount的程序任务135

7.3.2 WordCount的设计思路136

7.3.3 MapReduce的具体执行过程136

7.3.4 一个WordCount执行过程的实例137

7.4 MapReduce的具体应用139

7.4.1 MapReduce在关系代数运算中的应用139

7.4.2 分组与聚合运算140

7.4.3 矩阵-向量乘法140

7.4.4 矩阵乘法141

7.5 MapReduce编程实践141

7.5.1 任务要求141

7.5.2 编写Map处理逻辑142

7.5.3 编写Reduce处理逻辑143

7.5.4 编写main方法144

7.5.5 编译打包代码以及运行程序144

7.6 本章小结146

7.7 习题147

第8章 流计算151

8.1 流计算概述151

8.1.1 静态数据和流数据151

8.1.2 批量计算和实时计算152

8.1.3 流计算的概念153

8.1.4 流计算与Hadoop153

8.1.5 流计算框架154

8.2 流计算的处理流程154

8.2.1 概述154

8.2.2 数据实时采集155

8.2.3 数据实时计算155

8.2.4 实时查询服务156

8.3 流计算的应用156

8.3.1 应用场景1：实时分析156

8.3.2 应用场景2：实时交通157

8.4 开源流计算框架Storm158

8.4.1 Storm简介159

8.4.2 Storm的特点159

8.4.3 Storm的设计思想160

8.4.4 Storm的框架设计161

8.4.5 Storm实例162

8.4.6 哪些公司在使用Storm165

8.5 本章小结166

8.6 习题166

第9章 图计算168

9.1 图计算简介168

9.1.1 传统图计算解决方案的不足之处168

9.1.2 图计算通用软件169

9.2 Pregel简介169

9.3 Pregel图计算模型170

9.3.1 有向图和顶点170

9.3.2 顶点之间的消息传递170

9.3.3 Pregel的计算过程171

9.3.4 实例171

9.4 Pregel的C＋＋API174

9.4.1 消息传递机制174

9.4.2 Combiner175

9.4.3 Aggregator175

9.4.4 拓扑改变176

9.4.5 输入和输出176

9.5 Pregel的体系结构176

9.5.1 Pregel的执行过程177

9.5.2 容错性178

9.5.3 Worker179

9.5.4 Master179

9.5.5 Aggregator180

9.6 Pregel的应用实例180

9.6.1 单源最短路径180

9.6.2 二分匹配181

9.7 Pregel和MapReduce实现PageRank算法的对比182

9.7.1 PageRank算法183

9.7.2 PageRank算法在Pregel中的实现183

9.7.3 PageRank算法在MapReduce中的实现184

9.7.4 PageRank算法在Pregel和MapReduce中实现的比较186

9.8 本章小结187

9.9 习题187

第10章 数据可视化189

10.1 可视化概述189

10.1.1 什么是数据可视化189

10.1.2 可视化的发展历程189

10.1.3 可视化的重要作用191

10.2 可视化工具193

10.2.1 入门级工具193

10.2.2 信息图表工具194

10.2.3 地图工具195

10.2.4 时间线工具196

10.2.5 高级分析工具196

10.3 可视化典型案例197

10.3.1 全球黑客活动197

10.3.2 互联网地图197

10.3.3 编程语言之间的影响力关系图198

10.3.4 百度迁徙199

10.3.5 世界国家健康与财富之间的关系199

10.3.6 3D可视化互联网地图APP199

10.4 本章小结201

10.5 习题201

第四篇 大数据应用204

第11章 大数据在互联网领域的应用204

11.1 推荐系统概述204

11.1.1 什么是推荐系统204

11.1.2 长尾理论205

11.1.3 推荐方法205

11.1.4 推荐系统模型206

11.1.5 推荐系统的应用206

11.2 协同过滤207

11.2.1 基于用户的协同过滤207

11.2.2 基于物品的协同过滤209

11.2.3 UserCF算法和ItemCF算法的对比210

11.3 协同过滤实践211

11.3.1 实践背景211

11.3.2 数据处理211

11.3.3 计算相似度矩阵212

11.3.4 计算推荐结果213

11.3.5 展示推荐结果213

11.4 本章小结214

11.5 习题214

第12章 大数据在生物医学领域的应用215

12.1 流行病预测215

12.1.1 传统流行病预测机制的不足215

12.1.2 基于大数据的流行病预测216

12.1.3 基于大数据的流行病预测的重要作用217

12.1.4 案例：百度疾病预测217

12.2 智慧医疗218

12.3 生物信息学219

12.4 案例：基于大数据的综合健康服务平台220

12.4.1 平台概述220

12.4.2 平台业务架构221

12.4.3 平台技术架构222

12.4.4 平台关键技术223

12.5 本章小结224

12.6 习题224

第13章 大数据的其他应用225

13.1 大数据在物流领域中的应用225

13.1.1 智能物流的概念225

13.1.2 智能物流的作用226

13.1.3 智能物流的应用226

13.1.4 大数据是智能物流的关键227

13.1.5 中国智能物流骨干网——菜鸟227

13.2 大数据在城市管理中的应用229

13.2.1 智能交通230

13.2.2 环保监测231

13.2.3 城市规划232

13.2.4 安防领域232

13.3 大数据在金融行业中的应用233

13.3.1 高频交易233

13.3.2 市场情绪分析233

13.3.3 信贷风险分析234

13.4 大数据在汽车行业中的应用235

13.5 大数据在零售行业中的应用236

13.5.1 发现关联购买行为236

13.5.2 客户群体细分236

13.5.3 供应链管理237

13.6 大数据在餐饮行业中的应用237

13.6.1 餐饮行业拥抱大数据237

13.6.2 餐饮O2O238

13.7 大数据在电信行业中的应用239

13.8 大数据在能源行业中的应用240

13.9 大数据在体育和娱乐领域中的应用241

13.9.1 训练球队241

13.9.2 投拍影视作品242

13.9.3 预测比赛结果243

13.10 大数据在安全领域中的应用243

13.10.1 大数据与国家安全243

13.10.2 应用大数据技术防御网络攻击244

13.10.3 警察应用大数据工具预防犯罪245

13.11 大数据在政府领域中的应用246

13.12 大数据在日常生活中的应用246

13.13 本章小结247

13.14 习题248

参考文献249