大数据架构商业之路 从业务需求到技术方案PDF|Epub|txt|kindle电子书版本网盘下载

大数据架构商业之路 从业务需求到技术方案PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 抉择1

第2章 数据收集4

2.1 互联网数据收集4

2.1.1 网络爬虫5

2.1.2 Apache Nutch简介11

2.1.3 Heritrix简介14

2.2 内部数据收集15

2.2.1 Apache Flume简介17

2.2.2 Facebook Scribe和Logstash21

2.3 本章心得21

2.4 参考资料22

第3章 数据存储23

3.1 持久化存储23

3.1.1 Hadoop和HDFS25

3.1.2 HBase简介28

3.1.3 MongoDB35

3.2 非持久化存储37

3.2.1 缓存和散列37

3.2.2 Memcached和Berkeley DB简介41

3.2.3 Redis简介41

3.3 本章心得44

3.4 参考资料44

第4章 数据处理46

4.1 离线批量处理46

4.1.1 Hadoop的MapReduce47

4.1.2 Spark简介52

4.1.3 Hive简介53

4.1.4 Pig、 Impala和Spark SQL56

4.2 提升及时性：消息机制58

4.2.1 ActiveMQ简介60

4.2.2 Kafka简介61

4.3 在线实时处理63

4.3.1 Storm简介63

4.3.2 Spark Streaming简介66

4.4 本章心得66

4.5 参考资料67

第5章 信息检索69

5.1 基本理念70

5.2 相关性70

5.2.1 布尔模型70

5.2.2 基于排序的布尔模型71

5.2.3 向量空间模型74

5.2.4 语言模型75

5.3 及时性77

5.4 与数据库查询的对比81

5.5 搜索引擎82

5.5.1 Web搜索中的链接分析83

5.5.2 电子商务中的商品排序86

5.5.3 多因素和基于学习的排序88

5.5.4 系统框架89

5.5.5 Lucene简介93

5.5.6 Solr简介98

5.5.7 Elasticsearch简介104

5.6 推荐系统108

5.6.1 推荐的核心要素109

5.6.2 推荐系统的分类110

5.6.3 混合模型115

5.6.4 系统架构116

5.6.5 Mahout116

5.7 在线广告119

5.7.1 在线广告的类型120

5.7.2 广告投放机制124

5.7.3 广告的拍卖机制125

5.7.4 广告系统架构126

5.8 本章心得127

5.9 参考资料128

第6章 数据挖掘130

6.1 基本理念131

6.2 数据的表示和预处理133

6.2.1 数据的表示133

6.2.2 数据的预处理135

6.3 机器学习算法136

6.3.1 监督学习——分类137

6.3.2 监督学习——回归152

6.3.3 非监督学习——聚类153

6.4 挖掘工具157

6.4.1 Mahout简介157

6.4.2 R简介159

6.5 本章心得165

6.6 参考资料165

第7章 效能评估167

7.1 效果评估168

7.1.1 离线评估169

7.1.2 非离线的评估183

7.2 性能评估190

7.2.1 计算复杂度191

7.2.2 应用系统性能193

7.2.3 JMeter工具197

7.3 本章心得202

7.4 参考资料202

第8章 大数据技术全景204

第9章 商品太多啦！需要搜索207

引擎207

9.1 业务需求207

9.2 产品设计和技术选型208

9.3 实现方案211

9.3.1 数据定义和配置211

9.3.2 集群搭建213

9.3.3 DIH配置216

第10章 能否更主动？还需要推荐引擎223

10.1 业务需求223

10.2 产品设计和技术选型225

10.3 实现方案230

10.3.1 基于内容特征的衡量230

10.3.2 基于行为特征的衡量233

10.3.3 提供在线服务236

第11章 这样做的效果如何241

11.1 业务需求241

11.2 产品设计和技术选型242

11.3 实现方案243

11.3.1 行为数据的定义和记录243

11.3.2 Flume和HDFS的集成246

11.3.3 通过Hive进行分析252

11.3.4 Kafka和Storm的集成254

第12章 这个搜索有点逊258

12.1 业务需求：还要搜得更多258

12.2 “还要搜得更多”：产品设计和技术选型259

12.3 “还要搜得更多”的方案实现261

12.3.1 HBase的部署261

12.3.2 HBase和Solr的集成264

12.4 业务需求：还要搜得更准265

12.5 “还要搜得更准”：产品设计和技术选型266

12.5.1 提升搜索排序的相关性266

12.5.2 提升搜索排序的整体效果268

12.6 “还要搜得更准”的方案实现271

12.7 业务需求：还要更快273

12.8 还要“变”得更快：产品设计和技术选型274

12.9 还要“搜”得更快：产品设计和技术选型275

12.10 业务需求：给点提示吧280

12.11 给点提示吧：产品设计和技术选型282

第13章 支持更高效的运营287

13.1 业务需求：互联网时代的CRM287

13.2 互联网时代的CRM：产品设计和技术选型288

13.3 业务需求：抓住捣蛋鬼291

13.4 抓住捣蛋鬼：产品设计和技术选型292

13.4.1 识别分类错放292

13.4.2 识别SEO作弊294

13.5 业务需求：销售之战295

13.6 销售之战：产品设计和技术选型296

13.6.1 设置合理的价格296

13.6.2 识别黄牛298

后记299