大数据分析与可视化技术应用实战

课程详情

第一天

上午数据分析基础及实战

第一讲 R语言基础

■讲解R语言背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块，着重介绍R语言在这方面的优势及用法。



第二讲 统计分析基础

■讲解统计分析基础，包括统计学基本概念，假设检验，置信区间等基础，并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路，并结合R语言案例进行讲解。



第三讲 R语言数据处理基础

■从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入mysql、oracle、hadoop等常见数据库操作；数据统计包含dplyr包、data.table等包的具体用法和讲解；数据转换包含R语言常用的apply族、reshape包、tidyr等包的具体用法和案例讲解。

第一天

下午数据挖掘理论及核心技术第四讲 数据挖掘基础

■讲解数据挖掘基本概念，细致讲解业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术；结合业界经典场景，讲解数据挖掘的实施流程和方法体系。



第五讲 数据挖掘核心技术

■细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理，并结合案例讲解其具体实现和用法。尤其针对样本平衡，重点讲解人工合成、代价敏感等算法；针对特征选择，重点讲解特征选择的核心思路，并结合常见的R语言包进行案例演示。



第六讲 R语言数据挖掘工具

■讲解Rattle数据挖掘工具的用法，包括各项功能的具体使用；讲解Microsoft R Server工具的具体用法和操作。

第二天

上午数据挖掘算法原理及实现第七讲 特征降维算法及R语言实现

■讲解主成分及因子分析原理，并结合案例进行R语言实现。



第八讲 关联规则算法及R语言实现

■讲解Apriori关联规则算法原理，并结合案例进行R语言实现。



第九讲 决策树算法及R语言实现

■讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理，并结合案例进行R语言实现。



第十讲 聚类算法及R语言实现

■讲解kmeans、系统聚类算法原理，并结合R语言进行案例讲解。

第二天

下午数据挖掘建模实战

第十一讲 基于乳腺癌数据进行降维分析并建立分类模型

■实战部分：基于乳腺癌数据进行降维处理，并尝试建立分类评估模型。旨在通过该模型，并潜在的乳腺癌患者进行识别。



第十二讲 基于在线零售数据建立关联规则模型

■实战部分：基于在线零售数据，经过一定的处理，对该数据进行关联规则建模，旨在从此数据中挖掘出潜在的规则，对业务运营进行指导决策。



第十三讲 Lending Club信贷违约分析案例

■实战部分：基于Lending Club信贷违约数据，尝试从多个不同的维度进行数据分析，旨在发现一些有价值的信息，同时基于该数据，经过一定的处理，建立信贷违约识别模型，旨在对信贷业务办理提供模型支持，降低违约风险。



第十四讲 航空公司客户分群案例

■实战部分：基于航空公司的业务诉求，结合历史乘客数据，建立客户分群模型，旨在对客户进行差异化营销活动，提高客户粘性和价值转化。

第三天

上午R语言应用实战（一）

第十五讲 R语言与自然语言处理原理及案例

■讲解自然语言处理基本概念和技法，包含分词、关键字提取、文摘提取、文本分类、主题模型、word2vec等内容。并使用R语言进行案例讲解。



第十六讲 R语言网络爬虫及案例

■讲解爬虫实现的基本原理，并介绍XML包、rvest包、jsonlite、RSelenium的使用，同时结合真实案例进行演示。



第十七讲 社交关系图分析及R语言案例

■讲解社交关系图分析的基本原理和使用场景，介绍R语言igraph、d3Network、visNetwork包的用法，此外，介绍neo4j数据库，并结合RNeo4j包进行讲解，通过具体的案例，讲解社交关系图的构建和具体实现过程。

第三天

下午R语言应用实战（二）

第十八讲 数据分析图表及R语言案例

■讲解常用的数据分析图表及其使用场景，同时结合R语言lattice包、ggplot2、recharts等包进行案例讲解。



第十九讲 使用R Markdown编写数据分析报告

■讲解使用R Markdown编写数据分析报告的具体方法，并结合案例讲解其用法。



第二十讲 R语言shiny可视化开发实战

■介绍R语言shiny的UI、Server、Reactivity、控件等内容，同时讲解一个用shiny实现数据分析功能（兼图表）的实际案例，搭建服务器，在企业内部实现轻量级数据分析应用。

第四天学习考核与业内经验交流

讲师介绍

游老师,( )资深讲师。 计算机硕士，大数据分析、挖掘、可视化专家，高级培训讲师，曾服务于华为技术有限公司等多家企业，专注于机器学习、数据挖掘、大数据、知识图谱等领域的研究、设计与实现，在互联网、电信、电力、军工等行业具有丰富的工程实践经验，对空间分析、欺诈检测、广告反作弊、推荐系统、客户画像、客户营销建模、知识抽取、智能问答、可视化分析、预测分析、系统架构、大数据端到端解决方案等方面具有深刻理解，多次作为R语言会议重要嘉宾出席会议并发表主题演讲，著有《R语言预测实战》等多本书籍。

谢老师,( )资深讲师。某集团上市公司数据分析部负责人，主要利用R语言进行大数据的挖掘和可视化工作。从事数据挖掘建模工作已有10年，曾经从事过咨询、电商、金融、电购、电力、游戏等行业，了解不同领域的数据特点。有丰富的利用R语言进行数据挖掘实战经验，部分研究成果曾获得国家专利。

赵老师,( )资深讲师。计算机博士，目前主要研究方向包括电子推荐、智能决策和大数据分析等。主持国家自然科学基金2项、中国博士后科研基金、上海市浦江人才、IBM Shared University Research以及多项企业合作课题等项目。已在《管理科学学报》、《系统工程学报》、Knowledge and Information Systems ,Information Processing Management，Information Systems Frontiers等国内外刊物和学术会议发表论文90多篇，其中被SCI、EI收录40多篇。出版著作和教材《智能化的流程管理》、《客户智能》、《商务智能（第四版）》、《商务智能 数据分析的管理视角（第三版）》、《数据挖掘实用案例集》等多部。

张老师,( )资深讲师。天津大学软件工程硕士，10多年的IT领域相关技术研究和项目开发工作，在长期软件领域工作过程中，对软件企业运作模式有深入研究，熟悉软件质量保障标准ISO9003和软件过程改进模型CMM/CMMI，在具体项目实施过程中总结经验，有深刻认识。通晓多种软件设计和开发工具。对软件开发整个流程非常熟悉，能根据项目特点定制具体软件过程，并进行项目管理和监控，有很强的软件项目组织管理能力。对C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大数据、云计算有比较深入的理解和应用，具有较强的移动互联网应用需求分析和系统设计能力，熟悉Android框架、IOS框架等技术，了解各种设计模式，能在具体项目中灵活运用。