多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《深度剖析HadoopHDFS》_1
《深度剖析HadoopHDFS》_2
《深度剖析HadoopHDFS》_3
内容简介：
内容简介
本书基于 Hadoop2.7.版本进行分析,全面描
述了HDFS2X的核心技术与解决方案。书中描述
了HDFS_内.存_存储、异构存储等几大核心设计,包
括源码细节层面的分析,对于HDFS的几个主要使
用场景也做了细粒度的分析。还分享了作者在实际
应用中的解决方案及扩展思路。阅读本书可以帮助
读者从架构设计与功能实现角度了解HDFS2X
同时还能学习HDFS2X框架中优秀的设计思想、
设计模式、Java语言技巧等。这些对于读者全面提
高自己分布式技术水平有很大的帮助。本书分为三
大部分:核心设计篇、细节实现篇、解决方案篇
“核心设计篇”包括HDFS的数据存储原理、HDFS
的数据管理与策略选择机制、HDFS的新颖功能特
性;“细节实现篇”包括HDFS的块处理、流量处
理等细节,以及部分结构分析;“解决方案篇”包
括HDFS的数据管理、HDFS的数据读写、HDFS的
异常场景等。本书适合于云计算相关领域研发人
云计算相关运维工程师、高年级本科生或研究
生、热衷于分布式计算研究的人。
S
技术丛书
深度剖析
Hadoop HDFS
林意群◎编著
Q想业出
图书在版编目(CIP)数据
深度剖析 Hadoop HDFS/林意群编著,一北京:机械工业出版社,2017.3
(大数据技术丛
ISBN978-7-111-56207-8
深
林…Ⅲ.数据处理软件IV.TP274
中guo版本图书馆CIP数据核字(2017)第040479号
深度剖析 Hadoop hdFs
出版发行:机械工业出版社(北京市西城区百万庄大衡22号政编码:100037
责任编辑:吴怕
责任校对 i秋荣
刷:北京诚信伟业印刷有限公司
2017年4月第1版第1次印刷
开本:186mmx240mm1/16
书号:ISBN978-7-111-56207-8
定价:79.00元
如有缺页、倒页,脱页
010}8837942688361066
投稿热线 010)88379604
010)683262948837964968995259读者信箱;hzit@hzbook.com
版权所有·侵权必究
封底无防伪标均为盗版
本书法律顾问:北京大成律师事务所Han光/邹晓东
前言
我上大学时,就开始在CSDN上写技术博客,目的在于记录平时遇到的
研究的技术细节,好在将来可以进行查阅。随着时间的增长,我开始专注于某个技
因为这样可以让我对具体某项技术有更深入的研究,写出的内容也会更加系统化,而HDFS
研究的技术模块。同时作为一名 Hadoop社区的活跃贡献者,我也会将
社区上一些比较有意思的东西分享到博客上,许多博友给了不少反馈,描述他们在工作中
碰到的一些实际问题。在这样不断的写作、交流过程中,我得到了快速成长。目前大数据
领域相关的书籍并不是很多,而专门讲解其中一个模块的书则更少,所以我将我过去一年
多时间内关于HDFS的博客文章进行了整理、改进,同时也加入了一些新的内容。可以这
么说,本书的内容源自博客,但是超越博客
本书不会是纯源码分析的书籍。首先,我把工作实践中遇到的许多经验写入了书中
第7章便属于纯实践型的经验总结。其次,本书会是一个比较“新”的书,这里的“新
并不是指所分析的代码版本新,而是包含了HDFS未来的一些比较棒的功能特性,以及
Hadoop社区目前在做的一些事情。在这本书中,你会看到许多与社区相关的JRA,了解
如何从社区上找到问题的解决办法。期待本书能给你带来更多的启发
本书适合具有一定Java语言基础的同学,尤其适合以下读者朋友
口大数据架构师、开发者、运维工程师
口高年级本科生或研究生。
热衷于分布式存储技术的爱好者。
本书分为三大部分,“核心设计篇”介绍HDFS的基本原理、数据管理与策略等,“细
实现篇”介绍HDFS的块处理、流量处理、结构分析等,“解决方案篇”介绍数据管理技
术与方案、数据读写技术、异常处理等
第一部分“核心设计篇”包括内容如下
第1章介绍HDFS现有的数据存储方式,主要介绍其中的_内.存_存储和异构存储两个方面
2章介绍HDFS目前内部几种主要的功能机制,包括缓存管理、快照管理等
第3章介绍HDFS比较新颖的一些功能,以及目前较少被人用到的功能特性。
第二部分“细节实现篇”包括内容如下
4章介绍HDFS的块处理相关操作,主要处理场景包括块如何组织、上报处理的过
程以及多余块的清除
第5章介绍HDFS的流量处理过程,包括HDFS目前流量处理的场景以及 Balancer工
具的数据平衡原理和优化
第6章介绍HDFS一些特殊的结构对象类,包括这些类的作用、原理以及运用场景。
第三部分“解决方案篇”包括内容如下
第7章介绍与HDFS相关的多套运维管理的操作方案,包括数据迁移、数据监控等
方面
第8章介绍HDFS写磁盘时的一些优化策略和改造方案。
9章介绍HDFS的一些异常场景,并给出了相应的解决方案
由于笔者水平有限,本书难免会有出错或者介绍不明确的地方,恳请读者批评指正
可以发送关于本书的意见和建议到我的个人邮箱:yqin@ Apache. org。本书所涉及的源码
大家可以从 Hadoop的Git地址上进行下载:htp;/ github. com/apache/hadoop,其中,不同
的分支对应不同版本的代码。相关Git地址和CSDN博客地址如下
口Git地址:htps:/ github. com/linyiqun
口CSDN地址:htp:/ blog. csdn. net/androidlushangderen
感谢机械工业出版社的吴怡编辑,在我写作的过程中,不断指出其中的不足之处,督
促和引导我完成本书的编写。
感谢蘑菇街数据平台部的同事们,在工作中不断地给予我帮助和支持,协助我解决各
种各样的问题,于是才有了本书中所展现的精彩内容
林意群
17年2月
|
|
