您的位置: 首页 > 公开课首页 > 项目管理 > 课程详情

details

Hadoop大型应用开发

暂无评价   
  • 开课时间:2013年04月26日 09:30 周五 查找最新
  • 结束时间:2013年04月28日 17:00
  • 课程时长:18小时
  • 招生进展:
  • 开课地点:北京市
  • 授课讲师: 朱永春
  • 课程编号:216868
  • 课程分类:项目管理
  •  
  • 收藏 人气:1805
您实际购买的价格
付款时最多可用0淘币抵扣0元现金
购买成功后,系统会给用户帐号返回的现金券
淘课价
4500
可用淘币
0
返现金券
待定

你还可以: 收藏

培训受众:

软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的Java编程基础。

课程收益:

1. 全面掌握Hadoop的架构原理和使用场景;
2. 全程项目实战训练;
3. 彻底掌握使用Hadoop进行MapReduce程序开发;
4. 熟悉分布式计算领域的常用算法;

培训颁发证书:

1、工业和信息化部人才交流中心颁发的《全国信息化工程师》证书。
2、中国信息化培训中心颁发的《Hadoop高级架构师》证书。

课程大纲:

第一天

第1个主题:Hadoop MapReduce
1. Hadoop JobTracker 剖析
2.Hadoop TaskTracker 剖析
3.Hadoop 任务提交流程剖析
第2个主题: Hadoop MapReduce Streaming编程
1. Hadoop Streaming 和 Java MapReduce Api 差异
2. 使用 MapReduce 实现数据库功能
第3个主题:MapReduce分布式程序
1. MapReduce流程
2.剖析一个MapReduce程序
3.基本MapReduceAPI 概念
4.驱动代码 5.Mapper
6.Reducer
7.API 使用Eclipse进行快速开发
8.新MapReduce API
第4个主题:Hadoop 核心代码剖析
1. Hadoop Mapper 类核心代码剖析
2. Hadoop Reducer 类核心代码剖析
第5个主题:HDFS分布式文件系统编程
1. Hadoop HDFS 剖析
2. Hadoop NameNode 剖析
3. Hadoop DataNode 剖析
4. hadoop I/O 操作
5. 使用Hadoop HDFS API对HDFS编程

第二天

第1个主题:Hadoop Mapreduce高级编程
1.ToolRunner介绍
2.使用MRUnit进行测试
3.利用Combiners来减少中间数据
4.使用Configure和Close方法来进行Map/Reduce设置和关闭
5.编写Partitioner来优化负载平衡
6.直接访问Hadoop分布式文件系统(HDFS)
7.使用分布式缓存(Distributed Cache)
第2个主题:MapReduce的优化
1. map优化
2. reduce优化
3. 小文件优化

第3个主题:MapReduce的任务调度
1. Queue调度的使用
2. 公平调度的使用
3. 能力调度的使用
第4个主题:MapReduce编程实战
1. Hadoop的join操作
2. Hadoop的二次排序
3. Hadoop的海量日志分析
第5个主题:flume+hadoop日志收集实战
1. flume介绍
2. flume核心组件讲解
3. flume自带的组件分析
4. flume二次开发实战

第三天

第1个主题:Hadoop的来源和动机
1.传统大规模系统存在的问题
2.对一种新的解决方案的需求
第2个主题:Hadoop安装和部署准备
1. Hadoop系统模块组件概述
2. Hadoop试验集群的部署结构
3. Hadoop 安装依赖关系
4. Hadoop 生产环境的部署结构
第3个主题:Hadoop集群安装和部署
1. Red hat Linux基础环境搭建 上机实验
2. Hadoop 单机系统版本 安装配置 上机实验
3. Hadoop 集群系统版本 安装和启动配置 上机实验
4. Hadoop 集群异常Debug 方法
5. Hadoop 集群简单测试方法
6. 使用 Hadoop MapReduce Streaming 快速测试系统
第4个主题:Hadoop组件详解
1. Hadoop HDFS 基本结构
2. Hadoop HDFS 副本存放策略
3. Hadoop NameNode 详解
4. Hadoop SecondaryNameNode 详解
5. Hadoop DataNode 详解
6. Hadoop JobTracker 详解
7. Hadoop TaskTracker 详解
第5个主题:Hadoop集群配置详解
1. Hadoop core-site,hdfs-site,mapred-site 配置详解
2. Hadoop 高可用配置方法
第1个主题:Hadoop集群配置:机架感知,开启压缩和任务均衡
Hadoop 集群安装和开启LZO压缩
Hadoop 配置集群具备机架感知
Hadoop 集群开启公平任务调度器
Hadoop 集群开启能力任务调度器
第2个主题:Hadoop 集群维护与管理
查看集群状态
HDFS数据管理
Mapreduce 任务管理
HDFS安全模式
模拟集群Namenode,jobtrack失效
添加删除节点
数据平衡
文件数据跨集群拷贝
集群升级
第3个主题:Hadoop 集群规划和测试
集群规划(硬件,系统,网络)
集群性能测试
第4个主题:Hadoop 集群监控和运维
1. 使用Ganglia 监控Hadoop集群
2. 使用Cacti 监控操作系统
第5个主题:Hadoop HDFS高可用
Hadoop 元数据NFS备份方案
Hadoop SecondaryNameNode备份方案
Hadoop CheckpointNode备份方案
Hadoop BackupNode备份方案
Hadoop Cloudera HA Namenode 方案

培训师介绍:

 
国内最早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案专家。业界知名资深IT技术培训讲师、多家著名公司的技术顾问。

本课程名称: Hadoop大型应用开发

查看更多:项目管理公开课

Hadoop 相关的最新课程
讲师动态评分 与同行相比

授课内容与课纲相符00%

讲师授课水平00%

服务态度00%