Spark大数据编程基础 Scala版PDF|Epub|txt|kindle电子书版本网盘下载

Spark大数据编程基础 Scala版PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Spark概述1

1.1 Spark的背景1

1.1.1 Spark发展史1

1.1.2 Spark的特点2

1.2 Spark生态系统3

1.2.1 Spark Core3

1.2.2 Spark SQL4

1.2.3 Spark Streaming4

1.2.4 GraphX5

1.2.5 MLBase／MLlib5

1.2.6 SparkR5

1.3 Spark运行架构6

1.3.1 相关术语6

1.3.2 Spark架构7

1.3.3 执行步骤8

1.3.4 Spark运行模式10

1.4 WordCount示例13

1.4.1 三种编程语言的示例程序13

1.4.2 Scala版本WordCount运行分析16

1.4.3 WordCount中的类调用关系18

1.5 本章小结19

思考与习题19

第2章 搭建Spark开发环境20

2.1 Spark开发环境所需软件20

2.2 安装Spark21

2.2.1 spark-shell下的实例25

2.2.2 SparkWEB的使用26

2.3 IDEA28

2.3.1 安装IDEA28

2.3.2 IDEA的实例（Scala）32

2.3.3 IDEA打包运行37

2.4 Eclipse40

2.4.1 安装Eclipse40

2.4.2 Eclipse的实例（Scala）41

2.5 本章小结46

思考与习题47

第3章 Scala语言基础48

3.1 Scala简介48

3.1.1 Scala特点48

3.1.2 Scala运行方式48

3.2 变量与类型50

3.2.1 变量的定义与使用50

3.2.2 基本数据类型和操作56

3.2.3 Range操作61

3.3 程序控制结构62

3.3.1 if条件表达式62

3.3.2 循环表达式66

3.3.3 匹配表达式70

3.4 集合73

3.4.1 数组73

3.4.2 列表78

3.4.3 集81

3.4.4 映射85

3.4.5 Option90

3.4.6 迭代器与元组92

3.5 函数式编程95

3.5.1 函数95

3.5.2 占位符语法97

3.5.3 递归函数99

3.5.4 嵌套函数101

3.5.5 高阶函数102

3.5.6 高阶函数的使用104

3.6 本章小结108

思考与习题108

第4章 Scala面向对象编程110

4.1 类与对象110

4.1.1 定义类110

4.1.2 创建对象111

4.1.3 类成员的访问112

4.1.4 构造函数113

4.1.5 常见对象类型116

4.1.6 抽象类与匿名类118

4.2 继承与多态120

4.2.1 类的继承121

4.2.2 构造函数执行顺序124

4.2.3 方法重写125

4.2.4 多态127

4.3 特质（trait）128

4.3.1 特质的使用129

4.3.2 特质与类132

4.3.3 多重继承135

4.4 导入和包137

4.4.1 包137

4.4.2 import高级特性138

4.5 本章小结141

思考与习题141

第5章 RDD编程143

5.1 RDD基础143

5.1.1 RDD的基本特征143

5.1.2 依赖关系144

5.2 创建RDD148

5.2.1 从已有集合创建RDD148

5.2.2 从外部存储创建RDD149

5.3 RDD操作150

5.3.1 Transformation操作151

5.3.2 Action操作159

5.3.3 不同类型RDD之间的转换166

5.4 数据的读取与保存168

5.5 RDD缓存与容错机制170

5.5.1 RDD的缓存机制（持久化）170

5.5.2 RDD检查点容错机制173

5.6 综合实例174

5.7 本章小结179

思考与习题180

第6章 Spark SQL181

6.1 Spark SQL概述181

6.1.1 Spark SQL架构181

6.1.2 程序主入口SparkSession182

6.1.3 DataFrame与RDD184

6.2 创建DataFrame185

6.2.1 从外部数据源创建DataFrame185

6.2.2 RDD转换为DataFrame199

6.3 DataFrame操作203

6.3.1 Transformation操作204

6.3.2 Action操作216

6.3.3 保存操作219

6.4 Spark SQL实例220

6.5 本章小结226

思考与习题226

第7章 Spark Streaming228

7.1 Spark Streaming工作机制228

7.1.1 Spark Streaming工作流程228

7.1.2 Spark Streaming处理机制229

7.2 DStream输入源230

7.2.1 基础输入源230

7.2.2 高级输入源232

7.3 DStream转换操作233

7.3.1 无状态转换操作233

7.3.2 有状态转换操作234

7.4 DStream输出操作245

7.5 Spark Streaming处理流式数据246

7.5.1 文件流246

7.5.2 RDD队列流248

7.5.3 套接字流250

7.5.4 Kafka消息队列流251

7.6 Spark Streaming性能调优258

7.6.1 减少批处理时间258

7.6.2 设置适合的批次大小259

7.6.3 优化内存使用259

7.7 本章小结260

思考与习题260

第8章 Spark GraphX261

8.1 GraphX简介261

8.2 GraphX图存储262

8.2.1 GraphX的RDD262

8.2.2 GraphX图分割264

8.3 GraphX图操作265

8.3.1 构建图操作266

8.3.2 基本属性操作268

8.3.3 连接操作270

8.3.4 转换操作271

8.3.5 结构操作273

8.3.6 聚合操作274

8.3.7 缓存操作275

8.3.8 Pregel API276

8.4 内置的图算法279

8.4.1 PageRank279

8.4.2 计算三角形数282

8.4.3 计算连通分量284

8.4.4 标签传播算法285

8.4.5 SVD+++286

8.5 GraphX实现经典图算法288

8.5.1 Dijkstra算法288

8.5.2 TSP问题291

8.5.3 最小生成树问题292

8.6 GraphX实例分析294

8.6.1 寻找“最有影响力”论文294

8.6.2 寻找社交媒体中的“影响力用户”296

8.7 本章小结298

思考与习题299

第9章 Spark机器学习原理300

9.1 Spark机器学习简介300

9.2 ML Pipeline301

9.2.1 Pipeline概念301

9.2.2 Pipeline工作过程302

9.2.3 Pipeline实例303

9.3 Spark机器学习数据准备310

9.3.1 特征提取310

9.3.2 特征转换314

9.3.3 特征选择319

9.4 算法调优326

9.4.1 模型选择326

9.4.2 交叉验证326

9.4.3 TrainValidationSplit329

9.5 本章小结331

思考与习题331

第10章 Spark机器学习模型332

10.1 spark.ml分类模型332

10.1.1 spark.ml分类模型简介332

10.1.2 朴素贝叶斯分类器333

10.1.3 朴素贝叶斯分类器程序示例335

10.2 回归模型337

10.2.1 spark.ml回归模型简介338

10.2.2 线性回归338

10.2.3 线性回归程序示例341

10.3 决策树343

10.3.1 spark.ml决策树模型简介343

10.3.2 决策树分类345

10.3.3 决策树分类程序示例347

10.3.4 决策树回归350

10.3.5 决策树回归程序示例354

10.4 聚类模型357

10.4.1 spark.ml聚类模型简介358

10.4.2 K-means算法示例360

10.4.3 K-means程序示例362

10.5 频繁模式挖掘363

10.5.1 FP-Growth364

10.5.2 FP-Growth算法示例365

10.5.3 FP-Growth程序示例367

10.6 本章小结369

思考与习题369

参考文献371