您的位置: 首页 > 公开课首页 > 互联网/语言 > 课程详情

details

“Spark应用与实战高级工程师” 培训

暂无评价   
  • 开课时间:2016年03月22日 08:54 周二 已结束
  • 结束时间:2016年03月22日 08:54 周二
  • 课程时长:18小时
  • 招生进展: 确定开班
  • 开课地点:北京市
  • 授课讲师: 待定
  • 课程编号:296902
  • 课程分类:互联网/语言
  •  
  • 收藏 人气:199
您实际购买的价格
付款时最多可用0淘币抵扣0元现金
购买成功后,系统会给用户帐号返回的现金券
淘课价
5800
可用淘币
0
返现金券
待定

你还可以: 收藏

培训受众:

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人效果最佳。

课程收益:

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark、Hadoo系统基础知识,概念及架构, Spark、Hadoo实战技巧,Spark、Hadoo经典案例等。
通过本课程实践,帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识;理解Spark、Hadoo系统适用的场景;掌握Spark、Hadoo等初中级应用开发技能;搭建稳定可靠的Spar、Hadoo k集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等。

培训颁发证书:

工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询:www.ncie.gov.cn

课程大纲:

时间 模块 培训大纲
第一天



Spark生态介绍  Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark(内存计算框架)
 SparkSteaming(流式计算框架)  Spark SQL(ad-hoc)
 Mllib(MachineLearning)
 GraphX(bagel将被代)
 DDB介绍
 SparkR介绍

spark安装部署  Spark安装简介
 Spark的源码编译
 Spark Standalone安装  Spark Standalone HA安装
 Spark应用程序部署工具spark-submit


Spark运行架构和解析  Spark的运行架构
 基本术语
 运行架构
 Spark on Standalone运行过程
 Spark on YARN 运行过程  Spark运行实例解析
 Spark on Standalone实例解析
Spark on YARN实例解析
Spark的scala编程  Scala基本语法
 Scala开发环境搭建  Scala开发Spark应用程序
Spark编程模型和解析  Spark的编程模型
 Spark编程模型解析  RDD的特点、操作、依赖关系
 Spark应用程序的配置
第二天 Spark的scala编程  Scala基本语法
 Scala开发环境搭建  Scala开发Spark应用程序
Spark Streaming原理和实践  Spark Streaming原理
 Spark流式处理架构
 DStream的特点
 Dstream的操作和RDD的区别
 Spark Streaming的优化  Spark Streaming实例
 文本实例
 网络数据处理
Spark SQL原理和实践  Spark SQL原理
 Spark SQL的Catalyst优化器
 Spark SQL内核
 Spark SQL和Hive  Spark SQL的实例和编程
 Spark SQL的实例操作demo
 Spark SQL的编程
第三天

Spark MLlib数据挖掘  Spark mllib介绍
 Kmeans数据介绍
 MllibKmeans案例
 LR算法介绍
 Mllib LR 案例
 贝叶斯算法介绍  贝叶斯算法案例
 基于mllib的推荐系统实战
—商品推荐
—用户推荐
—混合推荐
—最佳拍档
Spark graphX图分析  graphX核心原理
 table operator和graph operator区别
 vertices、edges和triplets介绍
 构建一个graph  ShortestPaths图算法详解
 PageRank图算法详解
 TriangleCount图算法详解
 Pagerank图算法实战
案例实战  基于spark日志分析
 个性化推荐系统:带你揭开其神秘面纱
 在线投放引擎
 揭开淘宝点击推荐系统的神秘面纱
 京东商城数据服务架构—实时计算平台

培训师介绍:

 
刘老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、H、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。

本课程名称: “Spark应用与实战高级工程师” 培训

查看更多:互联网/语言公开课

大数据 Spark 相关的最新课程
讲师动态评分 与同行相比

授课内容与课纲相符00%

讲师授课水平00%

服务态度00%