多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《ELKstack权威指南》_1
《ELKstack权威指南》_2
《ELKstack权威指南》_3
内容简介：
The Definitive Guide to Elasticsearch+Logstash+Kibana
LK stack权威指南
饶瑈琳◎编著
图书在版编目(CIP)数据
ELK stack权威指南/饶环琳编,一北京:机械工业出版社,2015.9
(数据分析与决策技术丛书
ISBN978-7-111-51634-7
E…1.绝…II,数据处理软件一指南IV.TP274-62
中guo版本图书馆CIP数据核字(2015)第222006号
ELK stack是以 Elasticsearch、 Lorstash、 Kiana三个开源软件为主的数据处理工具链,是目前开源界最
行的实时数据分析解决方案,成为实时ri志处理领域开源界的第一选择,然而, ELK stack井不是实时数据分析的灵
丹妙药,使用不恰当,反而会事倍功半。本书对 ELK stack的原理进行了解副,不仅分享了大量实战案例和实现效
果,而且分析了部分源代码,使读者不仅知其然还知其所以然。读者可通过本书快速掌实时ri志处理方法,井搭
自己的数据分析系统。本书分为三大部分,共19章。第一部分“ Logstash”介留 Loastash的安装与配置、场景示
例、性能与测试、扩展方安、码解析、件开发等;第二分“ lasticsearch"介绍 lasticseirch的架构原理
数据接口用例,性能优化、试和扩展方案、映射与模板的定制、監控方案等;第三部分“ Kiana”介绍 Kiana3
和 Kiana4的特点对比,井分别讲解了 Kiana3和 Kiana4的配置、案倒与源代码解析
ELK stack权威指南
出版发行:机械工业出版社《北家市西城区百万庄大22号郎政:100037
责任编料:怕
责任校对:黄纪
印刷:北京試信伟业印有限公司
版次:2015年10月第1版第1次印利
开本:186mmx240mm1/16
书号:ISBN978-7-111-51634-7
价
79,00元
凡购本书,如有缺页,倒页、脱页,由本社发行部
客热线 010)8837942688361066
投稿热线010)88379604
版权所有·侵权必究
封底无防伪标均为
本书法律问:北京大成律师事务所Han光/邹晓东
e前言
操作系统、应用服务和业务逻辑,都在不停地产生ri志数据。过去,ri志数据基本都存
在单机磁盘上,只能用来做临时的事后分析和审计;有 Hadoop以后,大家渐渐习惯将ri志
收集到HDFS中,然后每天运行 Mapreduce任务做统计报表。但是,面对诸如“新上线
本过去几分钟在各地反馈如何”“昨天23:40Zuo右这个投诉用户有没有异常”这种即时的开放
性问题,传统的ri志处理方案显得非常笨拙和低效,因为解答没有唯一套路,需要尝试下钻
挖掘才能得出答案。复杂多变的实时数据分析需求,需要的是灵活快捷的响应处理。 Splunk
公司正是凭借着自己在这个大数据细分领域的一枝独秀,成为百亿美元级的明星公司。但是
Splunk每GB高达4500美元的报价,又让人望而却步。直到 ELK stack出现后,大家才有了
可选择的开源产品
ELK stack是以 Elasticsearch、 Logstash、 Kiana三个开源软件为主的数据处理工具链
在实时数据检索和分析场合,三者通常是配合使用,而且又先后归于 Elastic.co公司名下
有此简称。
ELK stack具有如下几个优点
口处理方式灵活。 Elasticsearch是实时全文索引,不需要像 Storm那样预先编程才能使用
口配置简易上手。 Elasticsearch全部采用JSON接口, Logstash是 Ruby DSL设计,都是
目前业界最通用的配置语法设计。
口检索性能高效。虽然每次查询都是实时计算,但是优秀的设计和实现基本可以达到百
亿级数据查询的秒级响应
口集群线性扩展。不管是 Elasticsearc血集群还是 Logstash集群都是可以线性扩展的。
口前端操作炫丽。 Kiana界面上,只需点击鼠标,就可以完成搜索、聚合功能,生成炫
丽的仪表盘。
当然, ELK stack并不是实时数据分析的灵丹妙药,使用不恰当,反而会事倍功半。我自
2014年年初开.Q.Q.群.交流 ELK stack,发现网友们对 ELK stack的原理常有误解误用,对实现
的效果也多有不能理解或者因过多期望而失望之处。更令我惊奇的是,网友们分布之广,遍
及传统企业和互联网公司、开发和运维领域、 Linux和 Windows平台,大家对非专精领域的
知识,一般都缺乏了解,这也成为使用 ELK stack的一个障碍。
为此,我决定写一本 ELK stack技术指南,帮助大家厘清技术细节,分享一些实战案例。
本书并不会逐一介绍 ELK stack的全部聚合语法或者分词特性,而是从ri志数据处理的角度介
绍数据的解析、导入、可视化方式,讲解集群的稳定性和性能优化原理,剖析代码要点并提
供 ELK stack二次开发实例。
本书包括三大部分共19章,各部分可以独立阅读。但对于还没有大规模应用经验的新
手,建议按顺序阅读全文
第一部分 Logstash
第1章:人门示例。该章介绍 Logstash/及其插件的配置安装方法,自定义配置语言的设
计用途,并为不熟悉 Linux系统管理的开发人员介绍了多种后台运行方式
第2章:插件配置。该章列举 Loastash最常用的几十种插件,通过实际示例和效果,讲
解各插件的配置细节和用途
第3章:场景示例。该章以最常见的运维、网络、开发和数据库场景,介绍 Logstash处
Nginx、 Postfix、Osce、Log4、 MYSQL、 Docker t等ri志的最佳实践。
性能与監控。了解 Logstash I的性能情况一直是个难题,该章从 Logstash设计原
理和JM平台本质出发,介绍几种行之有效的检測和监控方案。
第5章:扩展方案。该章介绍采用 Redis和Kaa完成 Logstash水平扩展的方案,同时
也介绍其他几种ri志收集系统与 Logstash的配合方式
第6章: Logstash源码解析。该章解析 Logstash源码中最重要的 Pipeline设计,以及
第7章:插件开发。该章以最常见的用户登.录记录和地址库解析、 Consul数据更新等需
求,实际演示1 Logstash的自定义 Filter、 Input和 Output插件的编写,同时还涉及了插件打包
的 Rubygems规范共有 Httpclient 2功能项等细节
第二部分 Elasticseard
第8章:架构原理。该章从更高级的架构层面,介绍 Elasticsearch分布式设计中涉及稳
定性和高性能的部分原理,并由此引发相关的优化配置介绍。另外,还提供了一种针对时序
数据索引的读写分离方案,适用于拥有少部分SD设备的用户
第9章:数据接口用例。该章介绍 Elasticsearch的 RESTFUL接口的基础知识,并针对常
见的重建索引需求提供两种快速实现方案,为有 Spark经验的读者介绍通过 Spark Streaming
接口读写 Elasticsearch的方法
第10章:性能优化。该章介绍 Elasticsearch在ri志处理场景下的读写优化知识和官方
荐的 curator工具,其中重点介绍了 Elasticsearch中几种不同的 cache的区别和有效场景
第11章:測试和扩展方案。该章介绍 Elasticsearch在生产环境中需要的一些周边工具
比如 Puppet配置管理、 Shield权限管理、版本升级操作、别名切换流程设计等
第12章:映射与模板的定制。该章详细介绍 Elasticsearch中的核心类型及其对应的常见
映射设置,以及如何通过动态模板简化映射定制操作的复杂度
第13章:监控方案。 Elasticscarch作为一个分布式系统,也是有一定的运维难度的,因
此其本身的监控也相当重要。该章介绍 Elasticsearch自带的一系列監控接口,以及由此行生的
多种实时或长期的监控方案
第14章: Elasticsearch在运维监控领域的其他应用。该章介绍 Elasticsearch在运维方面的其
他运用方式,包括实时过滤接口、定时报警系统设计、时序数据存储和相关性排序等。
第三部分 Kiana
第15章: Kiana I的产品对比。该章介绍 Kiana3与 Kiana4之间,以及它们与 Hadoop
Splunk之间的差异,方便读者在不同场景需求下选择更正确的工具。
第16章: Kiana3。该章介绍 Kiana3的界面操作方式、面板的配置细节及其效果、动
态仪表盘的高级用法,并提供了几种额外权限控制的部署方案
第17章: Kiana3源码解析。该章以 index. html为入口,介绍 Kiana3如何利用 angular. js
clastic. js 7和 Jquery. fot. js三大框架实现单页应用。重点解析面板的实现过程,并分别演示了采
用facc和agg接口开发一个 Kiana3面板的过程
第18章: Kiana4。该章介绍 Kiana4的安装部署和界面操作方式,重点介绍 Kiana
4提供的几种可视化图表的配置细节和效果,并以几种场景的ri志分析需求演示了 Kiana4
全新的子聚合功能的效果。最后还介绍了一种采用 phantom. js截图方式记录长期报表数据的
第19章: Kiana4源码解析。该章介绍 Kiana4的界面实现,重点包括其内部ORM实
现的 Courier类、可视化绘图的 Visib类等
致谢
我本人虽然接触 ELK stack.较早,但本身专于Web和App应用数据方面,动笔以来得
到诸多朋友的帮助,详见后面“贡献者名单”。此外,还要特别感谢 Elastic co公司的曾勇
( medcl)和吴晓刚(Wod),曾勇完成 Elasticsearch在guo内的启蒙式分享,并主办 Elasticsearch
中guo用户大会,吴晓刚积极帮助新用户,并最早分享了携程的 ELK stackri亿级规模的实
#############################################
|
|
