多种网盘链接检测插件 购买前，请先检测网盘链接是否有效
《Hadoop大数据平台构建与应用》_米洪等_2018-02-01_1
《Hadoop大数据平台构建与应用》_米洪等_2018-02-01_2
《Hadoop大数据平台构建与应用》_米洪等_2018-02-01_3
内容简介：
Hadoop大数据平台构建与应用
任务描述
任务实施
任务目标
项目实训
知识准备
任务5.3使用 Mahout推荐工作
任务实施
岗位
项目实训
任务描述
任务4.2使用命令行对Hive进行
任务目标
数据查询和过滤
知识准备
任务描述
任务实施
任务目标
项目实训
知识准备
项目小结……
任务实施
106项目6数据的可视化
项目实训
学习目标
任务4.3使用 Java API对Hive
学习情境
进行连接与操作
任务6.1使用Exel可视化
任务描述
数据
任务目标
任务描述
知识准备
任务目标
任务实施
知识准备
项目实训
任务实施
项目小结
项目实训
项目5岗位和技能数据的
任务6.2使用 ECharts可视化
数据
学习目标
任务描述
学习情境
任务目标
任务5.1使用 Mahout命令进行
知识准备
岗位聚类分析
任务实施
任务描述
任务目标
任务6.3使用D3.js可视化
准备
数据
任务实施
任务描述
项目实训
任务目标
任务5.2使用 Mahout的Java
知识准备
进行岗位分析聚类
任务实施
项目实训
任务描述
项目小结
任务目标
144参考文献
知识准备
项目1
识大数据,实现学情分析系统设计
与环境搭建
认识大数据
学习目标
掌握大数据的概念和特征
了解大数据处理与分析流程
学会学情分析系统架构的设计方法。
熟悉大数据分析与处理工具的使用
学会大数据开发环境的配置操作。
学习情境
012年,联合guo在发布的(大数据促发展:挑战与机遇》白皮书中指
出:“大数据时代已经到来,大数据的出现将会对社会各个领域产生深刻影
数据正在实现人类工作、生活与思维的大变革,其“威力”也强烈
地冲击岩整个教育系统,正在成为推动教育系统创新与变革的颠覆性力量
目前大数据在教育领域的应用还存在诸多挑战,学校业务部门没有清
晰的大数据需求导致数据资产逐渐流失;院校内部数据孤岛严重,导致数
据价值不能被充分挖据;数据可用性低、质量差,导致数据无法被利用
等,诸多因素制约了大数据在教育领域的应用
老师是一名高校教师,基于对大数据的认识和了解,他想探索
大数据”在高校教育领域的应用,想通过收集学生就业趋向、学习兴
趣、专业技能、岗位需求的数据,结合“因材施教”教育理论,帮助学
生认识自己,结合学生实际情况,为其推荐学习资源、就业信息等,如
图1-1所示。为了实现这一目标,本项目主要学习大数据的概念、相关
的技术和应用,使学生对大数据的相关知识和产业链有一个清晰的认
非卖品,仅供非商业用逡或交流学习使
严禁网络传播本PDF,违者责任自负
Hadoop大数据平台构建与应用
校内奖学金等级
兴趣、志向、父母、生活
所处城市
职业技能证书
农民、外出务工、教师,经商
就业推荐
职业技能推荐
优业关系影响图
项目1认识大数据,实现学分析系统设计与环境搭建
任务1.1设计学情分析系统
任务描述
借助学习论坛、网络视等网络资源和各种图书资源,学习大数据导论等相关
知识内容,熟悉大数据的定义、大数据的基本特征及大数据处理与分析的相关技术
具或产品等
2.明确学情分析系统的设计目标和实现途径,理清学情分析系统所要采集的数据
信息,并进一步关注数据信息的格式,进而思考数据导入和预处理的方法及目标、数
据统计与分析手段和数据挖掘的目标,为学情分析系统目标的实现奠定基础
3.完成学情分析系统的设计
任务目标
1.熟悉大数据的概念和特征
2.熟悉大数据处理与分析流程和工具使用
3.熟悉学情分析系统的架构设计方法。
知识准备
1.大数据背景知识
大数据已成为时下T界最炙手可热的名词,在全球引领了新一轮数据技术ge命的
浪潮。经过2012年的蓄势待发,2013年被称为世界大数据元年,标志着世界正式步微课:1-1
入了大数据时代
认识大数据
根据支付宝官方发布的数据,2016年“双十一”狂欢节总交易额超1,207亿元
按照这个金额计算平均每分Zho交易额约为8,382万元。根据淘宝数据显示,在“双十
户超过1亿,平均每分Zho的活跃用户超过69,444个。目前,每
分Zho之内会有4,310人访问亚MA逊( Amazon)网站;优步(Uber)每分Zho能获得694
个订单;苹果(Aple)用户每分Zho会下载51,000个应用; 油管用户每分Zho会上
传300小时的新视频;Neix用户每分Zho之内会观看77,160小时的视频。在2015年
世界互联网大会上,腾 讯副总裁赖智明表示,微 信红包一天的收发量是22亿个,平
均每分Zho红包收发量是1,527,77个。每分Zho谷歌( google)搜索引擎的搜索量可达
278万次;脸书( Facebook)用户每分Zho点赞4,166,667次
用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解
以求最大化地开发数据的功能,发挥数据的作用。Hadp从某些方面来讲,与大数据
结合紧密,它最擅长的事情就是可以高效地处理海量规模的数据,因此可以说它就是
为大数据而生的。
想要系统地认知大数据,必须要全面而细致地分解它,接下来将从3个层面展开
adop大数据平台构建与应用
介绍,如图1-2所示
实践( Utilization)
4.个人的大数据
3.企业的大数据
2.政府的大数据
4.现躉州1互联网的大数据
台
图1-2大数据的3个层面
第1层面是理论。理论是认知的必经途径,也是被广泛认同和传播的基线。从大
数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入
解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数
据隐私这个特别而重要的视角审视人和数据之间的长久博弈。
第2层面是技术。技术是大数据价值体现的手段和前进的基石,分别从云计算
分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形
成结果的整个过程
第3层面是实践。实践是大数据的最终价值体现,分别从互联网的大数据、政府
的大数据、企业的大数据和个人的大数据4个方面来描绘大数据已经展现的美好景象
以及即将实现的蓝图
(1)理论层面认知大数据
1)大数据的特征定义。最早提出大数据时代到来的是Mai肯锡公
是美guo
屈一指的咨询公司,是研究大数据的先驱。在其报告 Big data: The nett frontier fo
Innovation, competition, and productivity中给出的大数据定义是:大数据指的是大小超
出常规的数据库工具获取、存储、管理和分析能力的数据集
业界(IBM最早定义)将大数据的特征归纳为以下4个
①数据体量巨大( Volume)。大数据的起始计量单位至少是PB(1,024TB)、EB
(1,024PB)或ZB(1,024EB
②数据类型繁多( Variety)。如网络ri志、视频、图片、地理位置信息等。
③价值密度低,商业价值高( value)。由于数据采集的不及时,数据样本不全
#############################################
|
|
