“Spark应用与实战高级工程师” 培训

各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人效果最佳。

本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoo系统基础知识，概念及架构， Spark、Hadoo实战技巧，Spark、Hadoo经典案例等。
通过本课程实践，帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识；理解Spark、Hadoo系统适用的场景；掌握Spark、Hadoo等初中级应用开发技能；搭建稳定可靠的Spar、Hadoo k集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。

工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询：www.ncie.gov.cn

时间 模块 培训大纲
第一天



Spark生态介绍  Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark（内存计算框架）
 SparkSteaming（流式计算框架）  Spark SQL（ad-hoc）
 Mllib（MachineLearning）
 GraphX（bagel将被代）
 DDB介绍
 SparkR介绍

spark安装部署  Spark安装简介
 Spark的源码编译
 Spark Standalone安装  Spark Standalone HA安装
 Spark应用程序部署工具spark-submit


Spark运行架构和解析  Spark的运行架构
 基本术语
 运行架构
 Spark on Standalone运行过程
 Spark on YARN 运行过程  Spark运行实例解析
 Spark on Standalone实例解析
Spark on YARN实例解析
Spark的scala编程  Scala基本语法
 Scala开发环境搭建  Scala开发Spark应用程序
Spark编程模型和解析  Spark的编程模型
 Spark编程模型解析  RDD的特点、操作、依赖关系
 Spark应用程序的配置
第二天 Spark的scala编程  Scala基本语法
 Scala开发环境搭建  Scala开发Spark应用程序
Spark Streaming原理和实践  Spark Streaming原理
 Spark流式处理架构
 DStream的特点
 Dstream的操作和RDD的区别
 Spark Streaming的优化  Spark Streaming实例
 文本实例
 网络数据处理
Spark SQL原理和实践  Spark SQL原理
 Spark SQL的Catalyst优化器
 Spark SQL内核
 Spark SQL和Hive  Spark SQL的实例和编程
 Spark SQL的实例操作demo
 Spark SQL的编程
第三天

Spark MLlib数据挖掘  Spark mllib介绍
 Kmeans数据介绍
 MllibKmeans案例
 LR算法介绍
 Mllib LR 案例
 贝叶斯算法介绍  贝叶斯算法案例
 基于mllib的推荐系统实战
—商品推荐
—用户推荐
—混合推荐
—最佳拍档
Spark graphX图分析  graphX核心原理
 table operator和graph operator区别
 vertices、edges和triplets介绍
 构建一个graph  ShortestPaths图算法详解
 PageRank图算法详解
 TriangleCount图算法详解
 Pagerank图算法实战
案例实战  基于spark日志分析
 个性化推荐系统：带你揭开其神秘面纱
 在线投放引擎
 揭开淘宝点击推荐系统的神秘面纱
 京东商城数据服务架构—实时计算平台

刘老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、H、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。