多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《Spar**数据商业实战三部曲：内核解密 商业案例 X能调优》_1
《Spar**数据商业实战三部曲：内核解密 商业案例 X能调优》_2
《Spar**数据商业实战三部曲：内核解密 商业案例 X能调优》_3
内容简介：
大数据
商业实战三部曲
核解密1商业案例1性能调
优
Wang家林段智华夏阳◎编著
请苯大学出版社
北京
内容简介
本书基于 Spark22X最新版本,以 Spark商业案例实战和 Spark在生产环境下几乎所有类型的性能调优
为核心,以 Spark内核解密为基石,分为上篇、中篇、下篇,对企业生产环境下的 Spark商业案例与性能调
优抽丝剥茧地进行剖析。上篇基于Spak源码,从一个动手实战案例入手,循序渐进地全面解析了 Spark22X
新特性及 Spark内核源码;中篇选取 Spark开发中最具有代表的经典学习案例,深入浅出地介绍,在案例中
综合应用 Spark的大数据技术:下篇性能调优内容基本完全覆盖了 Spark在生产环境下的所有调优技术
本书适合所有 Spark学习者和从业人员使用。对于有分布式计算框架应用经验的人员,本书也可以作为
Spark高手修炼的参考书籍。同时,本书也特别适合作为高等院校的大数据教材使用
本书封面贴有清华大学出版社防伪标签,无标签者不得销售
版权所有,侵权必究。侵权举报电话:010-6278298913701121933
图书在版编目(c|P)数据
Spar数据商业实战三部曲:内核解密
例性能调优/Wang家林,段智华,夏阳编著.一北京:清
华大学出版社,2018
ISBN978-7302-48962-7
1.①…Ⅱ.①Wang…②段…③夏…Ⅲ①数据处理Ⅳ.①TP274
中guo版本图书馆CIP数据核字(2017)第287681号
责任编辑:袁金敏常建丽
封面设计:Liu新新
责任校对:徐俊伟
责任印制:沈露
出版发行:清华大学出版社
网址:htp/www.tup.com.cn.htp/www.wqbook.con
比京清华大学学研大厦A座邮编:100084
社总机:010-62770175
邮购:010-62786544
投稿与读者服务:0106277969,c-service@Stuptsinghua.edu.cn
质量反馈:0106272015
河市金元印装有限公司
经销:全guo新华书店
开本:185mm×260mm
印张:72.75
字数:1815千字
版次:2018年2月第1版
次:2018年2月第1次印刷
定价:29900元
产品编号:075671-01
前言
大数据像当年的石油、人工智能( Artificial Intelligence)像当年的电力一样,正以前所
未有的广度和深度影响所有的行业,现在及未来公司的核心壁垒是数据,核心竞争力来自基
于大数据的人工智能的竞争。 Spark是当今大数据领域最活跃、最热门、最高效的大数据通
用计算平台,2009年诞生于美guo加州大学伯克利分校AMP实验室,2010年正式开源,2013
年成为 Apache基金项目,2014年成为 Apache基金的顶级项目。基于RDD, Spark成功构建
起了一体化、多元化的大数据处理体系
在任何规模的数据计算中, Spark在性能和扩展性上都更具优势
(1) Hadoop之父 Doug Cutting指出: Use of MapReduce engine for Big Data projects will
decline, replaced by Apache Spark(大数据项目的 MapReduce引擎的使用将下降,由 Apache
Spark取代。)
(2) Hadoop商业发行版本的市场领导者 Cloudera、 Horton Works、MapR纷纷转投 Spark,
并把 Spark作为大数据解决方案的首选和核心计算引擎
014年的 Sort benchmark测试中,Spak秒杀 Hadoop,在使用十分之一计算资源的情况
下,相同数据的排序上, Spark比 MapReduce快3倍!在没有官方PB排序对比的情况下,
首次将 Spark推到了PB数据(十万亿条记录)的排序,在使用190个节点的情况下,工作
负载在4小时内完成,同样远超雅虎之前使用3800台主机耗时16个小时的记录。
2015年6月,Spak最大的集群来自腾 讯—8000个节点,单个Job最大分别是_阿.里_巴
巴和 Databricks1PB,震撼人心!同时, Spark的 Contributor比2014年涨了3倍,达到
730人:总代码行数也比2014年涨了2倍多,达到40万行。IBM于2015年6月承诺大力推
进 Apache Spark项目,并称该项目为:以数据为主导的,未来十年最重要的新的开源项目
这一承诺的核心是将 Spark嵌入IBM业内领先的分析和商务平台,并将 Spark作为一项服务,
在 BMBluemix平台上提供给客户。IBM还将投入超过3500名研究和开发人员在全球10余
个实验室开展与 Spark相关的项目,并将为 Spark开源生态系统无偿提供突破性的机器学习
技术一1 BM SystemML,同时,IBM还将培养超过100万名 Spark数据科学家和数据工
程师。
2016年,在有“计算界奥运会”之称的guo际著名 Sort Benchmark全球数据排序大赛中,
由南京大学计算机科学与技术系PASA大数据实验室、_阿.里_巴巴和 Databricks公司组成的参
赛团队 NADSort,以144美元的成本完成100TB标准数据集的排序处理,创下了每TB数据
排序144元成本的最新世界纪录,比2014年夺得冠军的加州大学圣地亚哥分校 Triton Sort
团队每TB数据4.51美元的成本降低了近70р?这次比赛依旧使用 Apache Spar数据计
算平台,在大规模并行排序算法以及 Spark系统底层进行了大量的优化,以尽可能提高排序
计算性能并降低存储资源开销,确保最终贏得比赛
在 Full Stack理想的指引下, Spark中的 Spark SQL、 Spark Streaming、 MLLib、 GraphX
R五大子框架和库之间可以无缝地共享数据和操作,这不仅打造了 Spark在当今大数据计算
领域其他计算框架都无可匹敌的优势,而且使得 Spark正在加速成为大数据处理中心首选通
Spar数据商业实战三部曲:内核解密商业案例性能调优
用计算平台,而 Spark商业案例和性能优化必将成为接下来的重中之重
本书根据Wang家林老师亲授课程及结合众多大数据项目经验编写而成,其中Wang家林、段
华编写了本书近90c?内容,具体编写章节如下
第3章 Spark的灵魂:RDD和 DataSet
第4章 Spark Driver启动内幕剖析
第5章 Spark集群启动原理和源码详解
第6章 Spark^ pplication提交给集群的原理和源码详解
第7章 Shuffle原理和源码详解
第8章Job工作原理和源码详解
第9章 Spark中 Cache和 checkpoint原理和源码详解
第10章 Spark中 Broadcast和 Accumulator原理和源码详解
第11章 Spark与大数据其他经典组件整合原理与实战
第12章 Spark商业案例之大数据电影点评系统应用案例
第13章 Spark2.2实战之 Dataset开发实战企业人员管理系统应用案例
第14章 Spark商业案例之电商交互式分析系统应用案例
第15章 Spark商业案例之NBA篮球运动员大数据分析系统应用案例
第16章电商广告点击大数据实时流处理系统案例
第17章 Spark在通信运营商生产环境中的应用案例
第18章使用 Spark GraphX实现婚恋社交网络多维度分析案例:
第23章 Spark集群中 Mapper端、 Reducer端_内.存_调优
第24章使用 Broadcast实现 Mapper端 Shuffle聚合功能的原理和调优实战
第25章使用 Accumulator高效地实现分布式集群全局计数器的原理和调优案例
第27章 Spark五大子框架调优最佳实践
第28章 Spark2.2.0新一代钨丝计划优化引擎
第30章 Spark性能调优之数据倾斜调优一站式解决方案原理与实战:
第31章 Spar数据性能调优实战专业之路
其中,段智华根据自身多年的大数据工作经验对本书的案例等部分进行了扩展
除上述章节外,剩余内容由夏阳、郑采翎、闫恒伟三位作者根据Wang家林老师的大数据授
课内容而完成
在阅读本书的过程中,如发现任何问题或有任何疑问,可以加入本书的阅读群(QQ
418110145)讨论,会有专人答疑。同时,该群也会提供本书所用案例源码及本书的配套学习
视频
如果读者想要了解或者学习更多大数据相关技术,可以关注DT大数据梦工厂微 信公众
号 DT Spark,也可以通过YY客.户.端登.录68917580永久频道直接体验。
Wang家林老师的新 浪微博是htp/ weibo. com/ilovepains欢迎大家在微博上与作者进行
由于时间仓促,书中难免存在不妥之处,请读者谅解,并提出宝贵意见。
Wang家林2017年中秋之夜于美guoGuiGu
目录
上篇内核解密
第1章电光石火间体验 Spark22开发实战……
1.1通过RDD实战电影点评系统入门及源码阅读
11.1 Spark核心概念图解
1.1.2通过RDD实战电影点评系统案例…
12通过 Data Frame和 DataSet实战电影点评系统
2.1通过 Data Frame实战电影点评系统案例
122通过 Data Set实战电影点评系统案例
1.3 Spark22源码阅读环境搭建及源码阅读体验
第2章 Spark22技术及原理
21 Spark22综述
2.1.1连续应用程序
2.1.2新的API
………15
2.2 Spark 2.2 Core
2.1第二代 Tungsten引擎
2.2.2 Spark Session
2.2.3累加器API
2.3 Spark 2.2 SQL
2.3. 1 Spark SQL\".
2.3.2 DataFrame H Dataset API..
2.3.3 Timed Window.
2.4 Spark 2.2 Streaming
24.2增量输出模式
2.5 Spark22MLib…
25.基于 Dataframe的 Machine Learning APl
2.52R的分布式算法
2.6 Spark 2.2 Graph
第3章 Spark的灵魂:RDD和 DataSet.
3.1为什么说RDD和 DataSet是 Spark的灵魂
3.1.1RDD的定义及五大特性剖析……………………………………
#############################################
|
|
