智能运维 从0搭建大规模分布式AIOps系统PDF|Epub|txt|kindle电子书版本网盘下载

智能运维 从0搭建大规模分布式AIOps系统PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 开门见山：运维发展史2

第1章 运维现状2

1.1 运维工程2

1.1.1 认识运维2

1.1.2 主要职责4

1.1.3 运维技术5

1.2 运维发展历程6

1.2.1 人工阶段6

1.2.2 工具和自动化阶段7

1.2.3 平台化阶段7

1.2.4 智能运维阶段8

1.3 运维现状9

1.3.1 故障频发9

1.3.2 系统复杂性10

1.3.3 大数据环境12

1.4 本章小结14

1.5 参考文献14

第2章 智能运维15

2.1 海量数据的存储、分析和处理16

2.2 多维度、多数据源18

2.3 信息过载19

2.4 复杂业务模型下的故障定位21

2.5 本章小结22

2.6 参考文献22

第2篇 站在巨人肩上：智能运维基础设施25

第3章 开源数据采集技术25

3.1 数据采集工具对比25

3.2 轻量级采集工具Filebeat26

3.2.1 Filebeat工作原理26

3.2.2 Filebeat的安装与配置28

3.2.3 启动和运行Filebeat38

3.3 日志采集解析工具38

3.3.1 Logstash工作原理39

3.3.2 安装Logstash40

3.3.3 配置Logstash41

3.3.4 启动Logstash49

3.4 本章小结49

3.5 参考文献50

第4章 分布式消息队列51

4.1 开源消息队列对比与分析51

4.1.1 概述51

4.1.2 ZeroMQ51

4.1.3 ActiveMQ52

4.1.4 RocketMQ52

4.1.5 Kafka53

4.2 Kafka的安装与使用53

4.2.1 组件概念53

4.2.2 基本特性53

4.2.3 安装与使用54

4.2.4 Java API的使用55

4.3 案例分析57

4.3.1 日志采集58

4.3.2 实时结算58

4.3.3 实时计算58

4.4 本章小结58

4.5 参考文献59

第5章 大数据存储技术60

5.1 传统数据存储60

5.1.1 传统应用的架构60

5.1.2 传统存储的运行机制61

5.1.3 传统存储带来的问题62

5.2 基于HDFS的分布式存储63

5.2.1 分布式存储的定义63

5.2.2 HDFS的基本原理64

5.2.3 HDFS架构解析65

5.2.4 HDFS的优势66

5.2.5 HDFS不适合的场景67

5.3 分层存储68

5.3.1 数据仓库68

5.3.2 数据仓库分层架构70

5.3.3 分层存储的好处73

5.4 案例分析73

5.4.1 数据存储架构73

5.4.2 数据仓库建模74

5.4.3 常见的存储问题及解决方案80

5.5 本章小结80

5.6 参考文献80

第6章 大规模数据离线计算分析82

6.1 经典的离线计算82

6.1.1 Linux神级工具sed和awk82

6.1.2 Python数据处理Pandas基础84

6.1.3 python的优势和不足88

6.2 分布式离线计算89

6.2.1 MapReduce离线计算89

6.2.2 离线计算的数据倾斜问题97

6.2.3 分布式离线计算的技术栈100

6.3 案例分析101

6.3.1 离线计算管理102

6.3.2 离线计算原子控制103

6.3.3 离线计算的数据质量103

6.4 本章小结104

6.5 参考文献105

第7章 实时计算框架106

7.1 关于实时流计算106

7.1.1 如何提高实时流计算的实时性106

7.1.2 如何提高实时流计算结果的准确性107

7.1.3 如何提高实时流计算结果的响应速度107

7.2 Spark Streaming计算框架介绍107

7.2.1 概述107

7.2.2 基本概念108

7.2.3 运行原理108

7.2.4 编程模型109

7.2.5 Spark Streaming的使用110

7.2.6 优化运行时间114

7.3 F1ink计算框架115

7.3.1 基本概念116

7.3.2 Flink特点116

7.3.3 运行原理118

7.3.4 Java API的使用121

7.4 案例分析124

7.4.1 背景介绍125

7.4.2 架构设计126

7.4.3 效果分析126

7.5 本章小结126

7.6 参考文献126

第8章 时序数据分析框架127

8.1 时序数据库简介127

8.1.1 什么是时序数据库127

8.1.2 时序数据库的特点128

8.1.3 时序数据库的对比130

8.2 时序数据库Graphite131

8.2.1 Graphite简介131

8.2.2 Graphite在微博广告监控系统中的应用137

8.3 多维分析利器Druid139

8.3.1 什么是Druid139

8.3.2 Druid架构140

8.3.3 Druid在微博广告监控平台中的应用144

8.4 性能神器ClickHouse147

8.4.1 什么是ClickHouse147

8.4.2 ClickHouse的特性148

8.4.3 ClickHouse的不足149

8.4.4 安装配置ClickHouse149

8.4.5 表引擎153

8.4.6 函数支持157

8.5 本章小结160

8.6 参考文献160

第9章 机器学习框架161

9.1 简介161

9.2 TensorFlow介绍162

9.2.1 什么是TensorFlow162

9.2.2 下载安装162

9.2.3 “Hello TensorFlow”示例166

9.3 TensorFlow进阶166

9.3.1 基础理论167

9.3.2 模型准备169

9.3.3 训练数据169

9.3.4 模型训练171

9.3.5 生成seq2seq句子174

9.3.6 运行演示175

9.4 本章小结178

9.5 参考文献179

第3篇 运维新时代：智能运维技术详解182

第10章 数据聚合与关联技术182

10.1 数据聚合182

10.1.1 聚合运算183

10.1.2 多维度聚合186

10.2 降低维度188

10.2.1 将告警聚合成关联“事件”189

10.2.2 减少误报：告警分类190

10.3 数据关联192

10.4 实时数据关联案例193

10.4.1 设计方案193

10.4.2 效果195

10.5 本章小结195

10.6 参考文献195

第11章 数据异常点检测技术196

11.1 概述196

11.2 异常检测方法198

11.2.1 基于统计模型的异常点检测199

11.2.2 基于邻近度的异常点检测202

11.2.3 基于密度的异常点检测203

11.3 独立森林204

11.4 本章小结207

11.5 参考文献207

第12章 故障诊断和分析策略208

12.1 日志标准化209

12.2 全链路追踪210

12.3 SLA的统一210

12.4 传统的故障定位方法211

12.4.1 监控告警型211

12.4.2 日志分析型212

12.5 人工智能在故障定位领域的应用213

12.5.1 基于关联规则的相关性分析213

12.5.2 基于决策树的故障诊断217

12.6 本章小结222

12.7 参考文献222

第13章 趋势预测算法223

13.1 移动平均法223

13.2 指数平滑法224

13.3 ARIMA模型226

13.3.1 简介226

13.3.2 重要概念226

13.3.3 参数解释228

13.3.4 建模步骤230

13.3.5 ARIMA模型案例232

13.4 神经网络模型236

13.4.1 卷积神经网络236

13.4.2 循环神经网络238

13.4.3 长短期记忆网络239

13.4.4 应用说明241

13.5 本章小结241

13.6 参考文献242

第4篇 智能运维架构实践：技术案例详解244

第14章 快速构建日志监控系统244

14.1 Elasticsearch分布式搜索引擎244

14.1.1 基本概念244

14.1.2 分布式文档存储与读取248

14.1.3 分布式文档检索250

14.1.4 分片管理252

14.1.5 路由策略254

14.1.6 映射255

14.2 可视化工具Kibana258

14.2.1 Management260

14.2.2 Discover260

14.2.3 Visualize262

14.2.4 Dashboard263

14.2.5 Timelion263

14.2.6 DevTools264

14.3 ELK搭建实践265

14.3.1 Logstash安装配置265

14.3.2 Elasticsearch集群安装配置266

14.3.3 Kibana安装配置273

14.4 本章小结274

14.5 参考文献274

第15章 微博广告智能监控系统275

15.1 背景介绍275

15.1.1 监控指标体系275

15.1.2 功能设计原则276

15.2 整体架构277

15.3 核心功能分析278

15.3.1 全景监控278

15.3.2 趋势预测281

15.3.3 动态阈值285

15.3.4 服务治理285

15.4 本章小结287

第16章 微博平台通用监控系统288

16.1 背景289

16.2 整体架构290

16.3 核心模块291

16.3.1 数据采集（Logtailer）291

16.3.2 数据路由（Statsd-proxy）293

16.3.3 聚合运算（Statsd）294

16.3.4 数据分发（C-Relay）和数据存储294

16.3.5 告警模块295

16.3.6 API设计299

16.3.7 数据可视化300

16.4 第三方应用301

16.4.1 决策支持系统301

16.4.2 运维自动化302

16.4.3 成本分析和容量日报302

16.4.4 机器学习302

16.5 本章小节302

附录A 中国大数据技术大会2017（BDTC 2017）CSDN专访实录303