您的位置: 首页 > 公开课首页 > 互联网/语言 > 课程详情

details

大数据处理技术-基于hadoop的实践

暂无评价   
  • 开课时间:2016年01月10日 09:00 查找最新
  • 结束时间:2016年01月11日 17:00 周一
  • 课程时长:12小时
  • 招生进展: 确定开班
  • 开课地点:上海市
  • 授课讲师: 待定
  • 课程编号:291030
  • 课程分类:互联网/语言
  •  
  • 收藏 人气:196
您实际购买的价格
付款时最多可用0淘币抵扣0元现金
购买成功后,系统会给用户帐号返回的现金券
淘课价
5800
可用淘币
0
返现金券
待定

你还可以: 收藏

培训受众:

1,对云计算、分布式数据存储于处理、大数据等感兴趣的朋友
2,传统的数据库,例如Oracle、MaySQL、DB2等的管理人员
3,Java、C等任意一门编程语言的开发者;
4,网站服务器端的开发人员
5,在校大学生、中专生或者刚毕业的学生
6,云计算大数据从业者;
7,熟悉Hadoop生态系统,想了解和学习Hadoop与Spark整合在企业应用实战案例的朋友;
8,系统架构师、系统分析师、高级程序员、资深开发人员;
9,牵涉到大数据处理的数据中心运行、规划、设计负责人;
10,政府机关,金融保险、移动和互联网等大数据来源单位的负责人;
11,高校、科研院所涉及到大数据与分布式数据处理的项目负责人;
12,数据仓库管理人员、建模人员,分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员;
对云计算有强烈的兴趣,能够看懂基本的Java语法。
直接上手Hadoop工作,具备直接胜任Hadoop开发工程师的能力;轻松驾驭以Spark为核心的云计算大数据实战技术,从容解决95%以上的云计算大数据业务需求;

课程大纲:

时间 内容















第一天 第1个主题:Hadoop三问(彻底理解Hadoop)
1、Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?
2、Hadoop的具体是如何工作?
3、Hadoop的生态架构和每个模块具体的功能是什么?

第2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)
1、 Hadoop集群的搭建
2、 Hadoop集群的监控
3、 Hadoop集群的管理
4、集群下运行MapReduce程序

第3个主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS

第4个主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信

第5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行

第6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、Hadoop是如何把HDFS文件转化为键值对的?
2、源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、源码剖析转化为键值对后供Map调用的过程实现

第7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、Hadoop内置计数器及如何自定义计数器
2、Combiner具体的作用和使用以及其使用的限制条件
3、Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、自定义排序算法
6、 Hadoop内置的分组算法
7、自定义分组算法
8、 MapReduce常见场景和算法实现

第8个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)
通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程


时间 内容














第二天 第9个主题:YARN(具备理解和使用YARN的能力)
1、YARN的设计思想
2、YARN的核心组件
3、YARN的共组过程
4、YARN应用程序编写

第10个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)
1、ResourceManager的架构
2、ClientRMService 与AdminService
3、NodeManager
4、 Container
5、 Yarn的 HA机制

第11个主题:NodeManager深度剖析(具备掌握NodeManager及Container的能力)
1、NodeManager架构
2、Container Management
3、Container lifecycle
4、资源管理与隔离

第12个主题:MapReduce的经典案例纯代码实战(初级)
1 MapReduce通过采集的气息温度数据分析每年的最高温度代码实战
2 MapReduce数据去重案例代码案例实战
3 MapReduce数据排序代码案例实战
4MapReduce平均成绩代码案例实战
第13个主题:MapReduce的经典案例纯代码实战(进阶1)
1 MapReduce求最大最小值案例代码实战
2 MapReduce TopN案例实战
3 MapReduce日志分析案例实战

第14个主题:MapReduce的经典案例纯代码实战(进阶2)
1 MapReduce Join操作案例代码实战
2 MapReduce Join优化案例实战
3 MapReduce 二次排序代码案例实战

第15个主题:MapReduce的经典案例纯代码实战(高级1)
1 MapReduce 自动连接操作案例代码实战
2 MapReduce 倒排索引案例实战
3 MapReduce 多维度排序代码案例实战

第16个主题:MapReduce的经典案例纯代码实战(高级2)
1 MapReduce MultipleInputs案例代码实战
2 MapReduce MultipleOutputs案例实战
3 MapReduce ChainMaper、ChainReducer代码案例实战

第12个主题:Spark的架构设计
1 Spark生态系统剖析
2 Spark的架构设计剖析
3 RDD计算流程解析
4 Spark的出色容错机制

培训师介绍:

 
Spark、Docker、Android技术中国区布道师。
• Spark亚太研究院院长和首席专家,移动互联网、云计算和大数据技术领域集大成者。
• 当今云计算领域最火爆的技术Docker源码级专家和Docker技术在中国的最早实践者之一。
• Cassandra和H技术在中国的最早实践者之一。
• 在Spark、Hadoop、Android、Docker等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到1.1.0共18个版本的Spark源码。Spark最佳畅销书《大数据spark企业级实战》作者,电子书《Spark GraphX大规模图计算和图挖掘》、《Spark实战高手之路》的作者,从2014年6月24日开始,在网上开启了免费的Spark公开课《决胜大数据时代Spark100期公益大讲堂》。
• Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;
• 国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。
• 多款浏览器定制者,中国大陆HTML5的技术引领者。

本课程名称: 大数据处理技术-基于hadoop的实践

查看更多:互联网/语言公开课

Hadoop Yarn Spark R Machine Learning是企业构建生产环境下大数据中心的关键技术 也是大数据处理的核心技术 是每个云计算大数据工程师必修课 相关的最新课程
讲师动态评分 与同行相比

授课内容与课纲相符00%

讲师授课水平00%

服务态度00%