关于举办“Spark应用与实战高级工程师” 培训班

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对

课程目标
　 本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。
通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

培训特色
　 当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。Spark是基于DAG的分布式内存计算框架，目前超级火爆的大数据处理分布式平台

培训证书
工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询：www.ncie.gov.cn

培训内容（3天课程）　　
第一天
Spark生态介绍
Mapreduce、storm和spark模型的比较和使用场景介绍
Spark产生背景
Spark（内存计算框架）
SparkSteaming（流式计算框架）
Spark SQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel将被代）
DlinkDB介绍
SparkR介绍

spark安装部署
Spark安装简介
Spark的源码编译
Spark Standalone安装
Spark Standalone HA安装
Spark应用程序部署工具spark-submit

Spark运行架构和解析
Spark的运行架构
基本术语
运行架构
Spark on Standalone运行过程
Spark on YARN 运行过程
Spark运行实例解析
Spark on Standalone实例解析
Spark on YARN实例解析
Spark的scala编程
Scala基本语法
Scala开发环境搭建
Scala开发Spark应用程序
Spark编程模型和解析
Spark的编程模型
Spark编程模型解析
RDD的特点、操作、依赖关系
Spark应用程序的配置
第二天Spark的scala编程
Scala基本语法
Scala开发环境搭建
Scala开发Spark应用程序
Spark Streaming原理和实践
Spark Streaming原理
Spark流式处理架构
DStream的特点
Dstream的操作和RDD的区别
Spark Streaming的优化
Spark Streaming实例
文本实例
网络数据处理
Spark SQL原理和实践
Spark SQL原理
Spark SQL的Catalyst优化器
Spark SQL内核
Spark SQL和Hive
Spark SQL的实例和编程
Spark SQL的实例操作demo
Spark SQL的编程
第三天
Spark MLlib数据挖掘
Spark mllib介绍
Kmeans数据介绍
MllibKmeans案例
LR算法介绍
Mllib LR 案例
贝叶斯算法介绍
贝叶斯算法案例
基于mllib的推荐系统实战
—商品推荐
—用户推荐
—混合推荐
—最佳拍档
Spark graphX图分析
graphX核心原理
table operator和graph operator区别
vertices、edges和triplets介绍
构建一个graph
ShortestPaths图算法详解
PageRank图算法详解
TriangleCount图算法详解
Pagerank图算法实战
案例实战
基于spark日志分析
个性化推荐系统：带你揭开其神秘面纱
在线投放引擎
揭开淘宝点击推荐系统的神秘面纱
京东商城数据服务架构—实时计算平台

培训师资
刘老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。