1.本站不该用户上传的文档完整性，不预览、不比对内容而直接下载产生的问题本站不予受理。

　　《大数据、云计算系统架构师课程》 产品说明书V1.0版 北风产品教学事业部 中国在线职业教育领导品牌 目录 目录2 一、关于我们6 二、课程背景7 三、课程简介8 四、学习方式11 五、学习周 11 六、招生对象11 七、就业方向12 八、就业薪资13 九、大数据团队15 十、大数据专业技术图谱17 十一、课程大纲（详细）19 阶段一、大数据、云计算 -Hadoop大数据开发技术19 课程一、大数据运维之Linux基础19 课程二、大数据开发核心技术 -Hadoop2.x从入门到精通20 课程三、大数据开发核心技术 - 大数据仓库 Hive精讲21 课程四、大数据协作框架 -Sqoop/Flume/Oozie精讲22 课程五、大数据Web开发框架 - 大数据WEB 工具Hue精讲23 课程六、大数据核心开发技术 - 分布式数据库 HBase从入门到精通24 课程七、大数据核心开发技术 -Storm实时数据处理25 2 69/ 中国在线职业教育领导品牌 课程八、Spark技术实战之基础篇 -Scala语言从入门到精通27 课程九、大数据核心开发技术 - 内存计算框架Spark精讲28 课程十、大数据核心开发技术 -Spark深入剖析29 课程十一、企业大数据平台高级应用30 课程十二、项目实战：驴妈妈旅游网大型离线 课程十三、项目实战：基于1号店的电商实时数据分析系统32 课程十四、项目实战：基于美团网的大型离线 课程十五、大数据高薪面试剖析34 阶段二、阿里云企业级大数据认证技术培训35 课程十六、ACP11003全面理解阿里云上的数据处理和分析35 阶段三、大数据、云计算 -Java企业级核心应用36 课程十七、深入Java性能调优36 课程十八、JAVA企业级必备高级技术 （WeblogicTomcat集群 Apach 集群）36 阶段四、大数据、云计算 - 分布式集群、PB级别网站性能优化37 课程十九、大数据高并发系统架构实战方案(LVS负载均衡、Nginx、共享存 储、海量数据、队列缓存 )37 课程二十、大数据高并发服务器实战教程38 项目实战：PB级通用电商网站性能优化解决方案39 阶段五、大数据、云计算 - 数据挖掘、分析 & 机器学习40 课程二十一、玩转大数据 ：深入浅出大数据挖掘技术(Apriori算法、Tanagra 工具、决策树)40 3 69/ 中国在线职业教育领导品牌 课程二十二、Lucene4.X实战类baidu搜索的大型文档海量搜索系统41 课程二十三、快速上手数据挖掘之solr搜索引擎高级教程（Solr集群、KI 分词、项目实战）42 课程二十四、项目实战：SPSSModeler数据挖掘项目实战培训43 课程二十五、数据层交换和高性能并发处理(开源ETL大数据治理工具）.44 课程二十六、零基础数据分析与挖掘R语言实战45 课程二十七、深入浅出HadoopMahout数据挖掘实战(算法分析、项目实 战、中文分词技术)46 课程二十八、大数据项目实战之Python金融应用编程(数据分析、定价与量 化投资)48 课程二十九、项目实战：云计算处理大数据深度、智能挖掘技术+地震数据 挖掘分析49 阶段六、大数据、云计算 - 大数据运维 & 云计算技术篇51 课程三十、Zookeeper从入门到精通 （开发详解 ，案例实战 ，Web界面监 控）51 课程三十一、云计算Docker从零基础到专家实战教程52 课程三十二、项目实战 ：云计算Docker全面项目实战 （Maven+Jenkins、 日志管理ELK、WordPress博客）53 课程三十三、深入浅出OpenStack云计算平台管理54 十二、项目实战56 项目实战1 ：PB级通用电商网站性能优化解决方案56 项目实战2 ：北风网用户行为分析57 4 69/ 中国在线职业教育领导品牌 项目实战3 ：驴妈妈旅游网大型离线 ：基于美团网的大型离线号店的电商实时数据分析系统59 项目实战6 ：仿百度搜索实战60 项目实战7 ：网页爬虫、网络小偷61 项目实战8 ：海量数据的索引和实时检索-- 比比看62 项目实战9 ：电商购物车功能实现（R语言）63 项目实战10 ：文本挖掘（Mathout\中文分词)64 项目实战11 ：使用Python构建期权分析系统64 项目实战12 ：使用Python构建简单的算法交易系统65 项目实战13 ：地震预警分析系统（Hadoop/数据分析）66 项目实战14 ：Maven+Jenkins、日志管理ELK、WordPress博客67 十三、结束寄语68 5 69/ 中国在线职业教育领导品牌 一、关于我们 北风网() 是上海育创网络科技有限公司旗下网站，创办于 2008年，是一家从事IT在线教育培训的网站。公司致力于IT培训业,以就业和企业 解决方案为导向、以人才为根本、以技术为核心 ，着力培养深受软件企业欢迎的实用 型人才，解决IT企业最热门技术的难点。公司和长三角地区软件园区以及全国各地 一流软件企业建立了长期合作关系 ，汇聚了中国IT培训最专业、最权威的教学团队 ； 100多位专家级来自Microsoft、Google、IBM、三星、华为、新浪、神州数码、 国讯、上海用友软件等国际化高端IT技术公司。网站立足于中国IT在线教育技术的 最前沿 ，为在校大学生、应届毕业生、社会就业者提供最热门、高实战性、高性价比 的IT在线培训服务。网站经过五年来的发展，已培养数万IT各领域高端人才，已成 为目前国内IT在线日消息，北风网宣布获得6400万元 B轮投资。北风团队表示， 本轮融资后资金用于技术团队及团队建设、高校市场和线上渠道 开发以及就业 6 69/ 中国在线职业教育领导品牌 服务团队建设。 二、课程背景 随着云计算、大数据迅速发展 ，亟需用hadoop解决大数据量高并发访问的瓶颈。 谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop 技术人才。由于掌握 Hadoop技术的开发人员并不多，直接导致了这几年 hadoop 技术的薪水远高于JavaEE及 Android程序员。 Hadoop入门薪资已经达到了 8K 以上 ，工作1年可达到 1.2W 以上 ，具有2-3 年工作经验的hadoop人才年薪可以达到 30万—50万，一般需要大数据处理的公 司基本上都是大公司，所以学习hadoop技术也是进大公司的捷径！ 全球的数据量正在以每18个月翻一倍的惊人速度增长，世界正在高速数字化， 大数据堪比石油 ，如何掘金大数据是所有个人、企业和国家的机遇和挑战。中国是人 才大国 ，能理解和应用大数据的创新人才更是稀缺资源。大数据分析应用已经渗透到 我们生活的方方面面，大数据人才缺口等你来填！ 大数据领域三个大的技术方向 ： ; 方向一、Hadoop大数据开发方向 方向 二、数据挖掘、数据分析&机器学习方向 方向三、大数据运维 方向 。精通任何方向之一者，均会 “前（钱）”途，而需要说明的，三 个方向中 ，大数据开发是基础 ，三个方向都了解、熟悉的人 ，可谓是 ：大数据系统 架构师级，更是大数据领域中 “一将难求 “，年薪直冲百万！ 如果说 6 年前你错过, 3 年前你错过IOS,今天你还要再错过 大数据 吗? 7 69/ 中国在线职业教育领导品牌 三、课程简介 本套课程就是在上述的背景下经过北风大数据团队 ，反复的市场调研与论 证，并由众多一线兼职大数据参与强强联手合作，打造的 “国内大数据系 统架构师课程 “， 大阶段， 门课程， 近 课时， 项目实战， 6 30+ 2000 14+ ， ，真实企业级项目开发系统。 内容涵盖了 驴妈妈，美团网 1号店 云计算、 大数据、集群、分布式、网站性能优化、数据挖掘、数据分析、机器学习、 企业级大数据项目实战 等多种技术 ，项目实战涉及 ：，真正 ，可谓是国内最 系 统、全面、权威、深入 的 大数据课程。 另外 ，值得一提的是 ，我们还与 阿里云指定大数据认证培训机构签定战 略级合作框架，首次引入“阿里云大数据培训认证体系 ” （阿里云 面授、阿里云指定教材、阿里云认证，阿里云合作企业就业）。课程 中引入 阿里云企业全真实验项目，引入阿里云全真大数据实验平台，让学 员在 课堂就能实践企业大数据真实 。 此种做法，在业内也是独家！ 8 69/ 中国在线职业教育领导品牌 图-1 阿里云大数据专业认证证书样例 图-2 阿里云大数据认证培训指定教材 9 69/ 中国在线职业教育领导品牌 图-3 阿里云大数据认证培训教材 内页样章-1 图-4 阿里云大数据认证培训教材 内页样章-2 10 69/ 中国在线职业教育领导品牌 四、学习方式 三种学习方式 ，可根据您自身的情况任选其一 ，三种学习方式价格上各不相同 ，具体 可咨询网站客服！ 方式一：在线点播（视频+直播答疑+作业+测试+就业推荐） 方式二：在线直播 （线下面授课程同步直播） 方式三：线下面授 注：不管哪种方式，均会 签定 包跳槽就业协议！ 五、学习周期 根据您选择的学习方式不同，时间各不同！ 1. 在线点播 学习方式：时间不限（根据个人情况而定），但平台学习时间为1年 ， 1年后如果课程还未学完，可根据自身情况向班主任申请延期！ 2. 在线直播 学习方式：学习周期同线. 线下面授 学习方式：全日制2个月，周末班：12~16周 六、招生对象 本课程主要招生对象为以下两类人群： 1. 有志于转型从事大数据开发的在职程序员 2. 有志于提升自己的技术水平的1-3岁Java程序员 特别说明 ：本套课程适合有一定的编程基础的人员学习（比 如java,python,c/c++ ）, 11 69/ 中国在线职业教育领导品牌 最好是java 编程人员 ，特别是从事过j2ee 开发的人员。因为本套课程属于高端课程， 我们需要对进行入学测试，本测试的目的在于帮助检测自己的java 基础， 因为公司要教学质量，光有名师授课是远远不够的 ，还需要们都具备一个基 本的java 基础，如果入学前我们不进行测试，那么必然会导致学生的技术水平 参差不齐，再好的老师也无法把这样的班教好。 如果说 ，您没有通过入学测试 ，那也没有关系 ，因为我们针对基础不好的 专门开设了 我们的零基础大数据专业，您可以参加我们那个专业的学习，打好基础 后，一样的可以学好我们的大数据课程！ 学习完本套课程 ，可以帮助你成为大型项目架构师 ，特别是数据量大 ，并发 量高的大型项目架构师， 当然也能很大程度上提高你的薪资待遇！ 七、就业方向 由于本套课程涉及的技术面很广，所以就业方向也有很多 ，包括但不限于以下几 个主要的就业岗位：  Hadoop大数据开发工程师  大数据挖掘工程师  大数据分析师  大数据科学家  大数据系统架构师 12 69/ 中国在线职业教育领导品牌 八、就业薪资 13 69/ 中国在线/ 中国在线职业教育领导品牌 九、大数据团队 1、课程主编 风舞烟 ：毕业于中国科技大学 ，微软认证解决方案专家 ，10多年软件行业从业 经验，参与过数百万的企业级 ERP系统以及银行系统项目设计，在大数据处理、富 客户端技术、项目管理、前端开发等方面有着深刻的理解和实战经验 ，先后担任过国 内某知名企业的CTO以及国内知名IT高端培训机构教学总监 ，北风网资深签约金牌 15 69/ 中国在线职业教育领导品牌 ，主编过BF-TECH系列的J2EE、Android等品牌就业课程 ，共达2000 多课时 ，课程总时长超10万分钟 ，可谓IT在线视频教育第一人 ，现任北风网产品研 发总监 ，对软件男欢男爱网系统架构、企业解决方案及IT在线教育行业有着卓越的见解和远识。 2、大数据-1 陈老师 职位：北风网大数据金牌 简介： 多年的云计算平台项目经验，目前就职于国内某云计算机公司，任云计算项目首 席架构师和产品经理。 近些年一直致力于云计算方向研究、开发、及运用，参与和 主导多个云计算项目的建设、研发、运营等。技术实力派教员 ，讲课生动风趣 ，深得 喜爱。 【擅长技术】：Hadoop、HBase、Storm、Hive、Sqoop、Java、Linux等 【赠言】：意志决定你的成功，进取决定你的未来！ 3、大数据-2 霍老师 职位：北风网大数据金牌 简介： 12年IT工作经验，7年大数据项目经验，先后在华为、中兴通讯、中国电信担 任过开发经理、项目经理、解决方案经理、大数据架构师，在通讯、互联网、金融、 物流行业有丰富的项目经验。熟悉大数据整体生态链 （调研、架构、开发、运维、应 用），擅长利用大数据技术进行数据分析。 【擅长技术】：Hadoop、Spark、Storm、R、RapidMiner、数据挖掘、数据分析 等 16 69/ 中国在线职业教育领导品牌 【赠言】：技术成就梦想，学习改变未来！ 4、大数据-3 ： 卿老师 职位：北风网大数据金牌 简介： 拥有红帽 RHCA高级认证 ，曾经就职于青麦学院，主要从事云计算技术、linux和数 据库专职 ，曾就职上海有孚计算机网络有限公司（又名阳光互联）、上海网域网 络科技有限公司 ，担任高级系统工程师兼技术部主管。长期从事开源技术方面的工作 与研究 ，作为主要曾参与电信运营商数据挖掘项目 ，对数据挖掘与数据发布、机 器学习和数据质量优化有很深的理解 ，目前主要研究分析平台基础架构，分布式系统 ， 数据分析算法与建模，企业级平台自动化，云计算技术等。 【擅长技术】：Hadoop、Linux运维、Docker、云计算相关技术 等 【赠言】：努力不一定成功，但放弃一定失败。 十、大数据专业技术图谱 说明：以下的技术点在我们 “大数据、云计算”课程里，全部包含！ 17 69/ 中国在线/ 中国在线职业教育领导品牌 十一、课程大纲（详细） 阶段一、大数据、云计算 -Hadoop大数据开发技术 课程一、大数据运维之Linux基础  课程简介 本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习 Hadoop，hbase,NoSQL，Spark ，Storm，docker,openstack等众多课程。因为企 业中的项目基本上都是使用Linux下搭建或部署的。  课程内容 1）Linux系统概述 2）系统安装及相关配置 3）Linux网络基础 4）OpenSSH实现网络安全连接 5）vi文本编辑器 6）用户和用户组管理 7）磁盘管理 8）Linux文件和目录管理 9）Linux终端常用命令 10）linux系统监测与 19 69/ 中国在线职业教育领导品牌 课程二、大数据开发核心技术 -Hadoop2.x从入门到精通  课程简介 本课程是整套大数据课程的基石：其一，分布式文件系统HDFS用于存储海量数 据，无论是Hive、HBase或者Spark数据存储在其；其二是分布式资源管理框架 YARN ，是Hadoop 云操作系统（也称数据系统），管理集群资源和分布式数据处理 框架MapReduce、Spark应用的资源调度与； 分布式并行计算框架MapReduce目前是海量数据并行处理的一个最常用的框 架。Hadoop2.x的编译、搭建、HDFSShell使用 ，YARN 集群资源管理与任务 ，MapReduce编程 ，分布式集群的部署管理（包括高可用性HA）必须要掌握的。  课程内容  初识Hadoop2.x 1）大数据应用发展、前景 2）Hadoop2.x概述及生态系统 3）Hadoop2.x搭建与测试  深入Hadoop2.x 1）HDFS文件系统的架构、功能、设计 2）HDFSJavaAPI使用 3）YARN 架构、集群管理、应用 4）MapReduce编程模型、Shuffle过程、编程调优  高级Hadoop2.x 1）分布式部署Hadoop2.x 20 69/ 中国在线）分布式协作服务框架Zookeeper 3）HDFSHA架构、配置、测试 4）HDFS2.x中高级特性 5）YARN HA架构、配置 6）Hadoop 主要发行版本（CDH、HDP、Apache）  实战应用 1）以【北风网用户浏览日志】数据进行实际的分析 2）原数据采集 3）数据的预处理（ETL） 4）数据的分析处理（MapReduce） 课程三、大数据开发核心技术 - 大数据仓库Hive精讲  课程简介 hive是基于Hadoop的一个数据仓库工具 ，可以将结构化的数据文件映射为一张 数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行 运行。其优点是学习成本低，可以通类SQL语句快速实现简单的MapReduce统计， 不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。  课程内容  Hive 初识入门 1）Hive功能、体系结构、使用场景 2）Hive搭建、初级使用 3）Hive原数据配置、常见交互方式 21 69/ 中国在线职业教育领导品牌  Hive深入使用 1）Hive中的内部表、外部表、分区表 2）Hive 数据迁移 3）Hive常见查询（select、where、distinct、join、groupby） 4）Hive 内置函数和UDF编程  Hive高级进阶 1）Hive数据的存储和压缩 2）Hive常见优化（数据倾斜、压缩等）  结合【北风网用户浏览日志】实际案例分析 1）依据业务设计表 2）数据清洗、导入（ETL） 3）使用HiveQL，统计常见的网站指标 课程四、大数据协作框架 -Sqoop/Flume/Oozie精讲  课程简介 Sqoop是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、 postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL,Oracle,Postgres等）中的数据导进到关系型数据库中。Sqoop项目开始于 2009年 ，最早是作为Hadoop的一个第三方模块存在 ，后来为了让使用者能够快速 部署，也为了让开发人员能够更快速的迭代开发，Sqoop成为一个Apache项 目。  课程内容 22 69/ 中国在线职业教育领导品牌  数据转换工具Sqoop 1）Sqoop功能、使用原则 2）将RDBMS数据导入 Hive表中（全量、增量） 3）将HDFS上文件导出到RDBMS表中  文件收集框架Flume 1）Flume 设计架构、原理（三大组件） 2）Flume初步使用，实时采集数据 3）如何使用Flume文件夹数据，实时采集录入HDFS中 4）任务调度框架Oozie  Oozie功能、安装部署 1）使用Oozie调度MapReduceJob和 HiveQL 2）定时调度任务使用 课程五、大数据Web开发框架 - 大数据WEB 工具Hue精讲  课程简介 Hue是一个开源的Apache HadoopUI系统，最早是由Cloudera Desktop演 化而来 ，由Cloudera贡献给开源社区 ，它是基于PythonWeb框架 Django实现的。 通过使用 Hue我们可以在浏览器端的Web控制台上与 Hadoop集群进行交互来分 析处理数据，例如操作 HDFS上的数据，运行MapReduceJob等等。  课程内容 1）Hue架构、功能、编译 2）Hue集成 HDFS 23 69/ 中国在线）Hue集成 MapReduce 4）Hue集成 Hive、DataBase 5）Hue集成Oozie 课程六、大数据核心开发技术 - 分布式数据库HBase从入门到精通  课程简介 HBase是一个分布式的、面向列的开源数据库 ，该技术来源于 FayChang 所撰 写的Google论文“Bigtable ：一个结构化数据的分布式存储系统”。HBase在Hadoop 之上提供了类似于Bigtable的能力 ，是一个高可靠性、高性能、面向列、可伸缩的分 布式存储系统 ，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。  课程内容  HBase初窥使用 1）HBase是什么、发展、与 RDBMS相比优势、企业使用 2）HBaseSchema、表的设计 3）HBase 搭建、shell初步使用（CRUD等）  HBase 深入使用 1）HBase 数据存储模型 2）HBaseJavaAPI使用（CRUD、SCAN等） 3）HBase 架构深入剖析 4）HBase 与MapReduce集成、数据导入导出  HBase 高级使用 1）如何设计表、表的预分区（依据具体业务分析） 24 69/ 中国在线）HBase 表的常见属性设置（结合企业实际） 3）HBaseAdmin操作（JavaAPI、常见命令）  6.2.4 【北风网用户浏览日志】进行分析 1）依据需求设计表、创建表、预分区 2）进行业务查询分析 3）对于密集型读和密集型写进行HBase参数调优 课程七、大数据核心开发技术 -Storm实时数据处理  课程简介 Storm是Twitter开源的分布式实时大数据处理框架，被业界称为实时版 Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法 ，比如网 站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等 ，大数据实时处理解 决方案 （流计算）的应用日趋广泛 ，目前已是分布式技术领域最新爆发点，而Storm 更是流计算技术中的佼佼者和主流。按照storm作者的说法 ，Storm对于实时计算的 意义类似于Hadoop对于批处理的意义。Hadoop提供了map、reduce原语 ，使我们 的批处理程序变得简单和高效。 同样，Storm也为实时计算提供了一些简单高效的 原语，而且Storm的Trident是基于Storm原语更高级的抽象框架，类似于基于 Hadoop的Pig框架， 让开发更加便利和高效。本课程会深入、全面的Storm， 并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时效果冲击了整 个IT界，业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开 发升级版的 “淘宝双11” ，还等什么？  课程内容 25 69/ 中国在线）Storm简介和课程介绍 2）Storm原理和概念详解 3）Zookeeper集群搭建及基本使用 4）Storm集群搭建及测试 5）API简介和入门案例开发 6）Spout的Tail特性、storm-starter及maven使用、Grouping策略 7）实例Grouping策略及并发 8）并发度详解、案例开发（高并发运用） 9）案例开发——计算网站PV 通过2种方式实现汇总型计算。 10）案例优化引入Zookeeper锁控制线）计算网站UV(去重计算模式) 12）【运维】集群统一启动和停止shell脚本开发 13）Storm事务工作原理深入 14）Storm事务API及案例分析 15）Storm事务案例实战之 ITransactionalSpout 16）Storm事务案例升级之按天计算 17）Storm分区事务案例实战 18）Storm不透明分区事务案例实战 19）DRPC精解和案例分析 20）StormTrident 入门 21）TridentAPI和概念 26 69/ 中国在线）StormTrident实战之计算网站PV 23）ITridentSpout、FirstN(取Top N)实现、流合并和Join 24）StormTrident之函数、流聚合及核心概念State 25）StormTrident综合实战一（基于HBase的State） 26）StormTrident综合实战二 27）StormTrident综合实战三 28）Storm集群和作业监警开发 课程八、Spark技术实战之基础篇 -Scala语言从入门到精通  课程简介 为什么要学习Scala？源于Spark的流行，Spark是当前最流行的开源大数据内存 计算框架，采用Scala语言实现，各大公司都在使用Spark ：IBM宣布承诺大力推进 Apache Spark项目，并称该项目为：在以数据为主导的，未来十年最为重要的新的 开源项目。这一承诺的核心是将Spark嵌入IBM业内领先的分析和商务平台 ，Scala具 有数据处理的天然优势，Scala是未来大数据处理的主流语言  课程内容 1) kafka是什么 2) kafka体系结构 3) kafka配置详解 4) kafka的安装 5) kafka的存储策略6) 6）kafka分区特点 27 69/ 中国在线) kafka的发布与订阅 8）java编程操作kafka 9) scala编程操作kafka 10)flume 和kafka 的整合 11)Kafka 和storm 的整合 课程九、大数据核心开发技术 - 内存计算框架Spark精讲  课程简介 Spark是UCBerkeleyAMP lab所开源的类HadoopMapReduce的通用并行框 架，Spark ，拥有HadoopMapReduce所具有的优点。启用了内存分布数据集， 除了能够提供交互式查询外，它还可以优化迭代工作负载。 SparkStreaming: 构建在Spark上处理Stream数据的框架，基本的原理是将 Stream数据分成小的时间片断（几秒），以类似batch批量处理的方式来处理这小部 分数据。  课程内容 1）Spark 初识入门 2）Spark 概述、生态系统、与MapReduce比较 3）Spark 编译、安装部署（StandaloneMode）及测试 4）Spark应用提交工具（spark-submit ，spark-shell） 5）Scala基本知识（变量，类，高阶函数） 6）Spark 核心RDD 7）RDD特性、常见操作、缓存策略 28 69/ 中国在线）RDDDependency、Stage常、源码分析 9）Spark 核心组件概述 10）案例分析 11）Spark 高阶应用 12）SparkonYARN运行原理、运行模式及测试 13）SparkHistoryServer历史应用 14）SparkStreaming流式计算 15）SparkStreaming 原理、DStream设计 16）SparkStreaming 常见input、out 17）SparkStreaming 与Kafka集成 18）使用Spark对【北风网用户浏览日志】进行分析 课程十、大数据核心开发技术 -Spark深入剖析  课程简介 本课程主要目前大数据领域最热门、最火爆、最有前景的技术——Spark。 在本课程中，会从浅入深，基于大量案例实战，深度剖析和Spark ，并且会包含 完全从企业真实复杂业务需求中抽取出的案例实战。课程会涵盖Scala编程详解、 Spark核心编程、SparkSQL和SparkStreaming、Spark内核以及源码剖析、性能调 优、企业级案例实战等部分  课程内容 1）Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖 析、Spark性能调优、SparkSQL、SparkStreaming。 29 69/ 中国在线）Spark源码剖析 3）基于排序的wordcount ，Spark二次排序 ，Spark分组取topn ，DataFrame与RDD 的两种转换方式 ，SparkSQL的内置函数、开窗函数、UDF、UDAF，SparkStreaming 的KafkaDirectAPI、updateStateByKey、transform、滑动窗口、foreachRDD性 能优化、与SparkSQL整合使用、持久化、checkpoint、容错与事务 4）项目实战：多个从企业实际需求抽取出的复杂案例实战：每日uv和销售额统计案 例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时 过滤案例、热点搜索词滑动统计案例、top3热门商品实时统计案例 课程十一、企业大数据平台高级应用  课程简介 本阶段主要就之前所学内容完成大数据相关企业场景与解决方案的剖析应用及结 合一个电子商务平台进行实战分析，主要包括有： 企业大数据平台概述、搭建企业 大数据平台、真实服务器手把手部署、使用CM5.3.x管理CDH 5.3.x集群  课程内容 1）企业大数据平台概述 2）大数据平台基本组件 3）Hadoop 发行版本、比较、选择 4）集群的准备（系统、基本配置、规划等） 5）搭建企业大数据平台 6）以实际企业项目需求为依据，搭建平台 7）需求分析（主要业务） 30 69/ 中国在线）框架选择（Hive\HBase\Spark等） 9）真实服务器手把手部署 10）安装Cloudera Manager5.3.x 11）使用CM5.3.x安装CDH 5.3.x 12）如何使用CM5.3.x管理CDH 5.3.x集群 13）基本配置，优化 14）基本性能测试 15）各个组件如何使用 课程十二、项目实战：驴妈妈旅游网大型离线数据电商分析平台  课程简介 离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮 助公司对网站的应用有一个比较好的了解。尤其是在电商、旅游、银行、证券、游戏 等领域有非常广泛 ，因为这些领域对数据和用户的特性把握要求比较高，所以对于离 线数据的分析就有比较高的要求了。 本课程本人之前在游戏、旅游等公司专门 从事离线数据分析平台的搭建和开发等 ，通过此项目将所有大数据内容贯穿 ，并前后 展示！  课程内容 1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、离线数据分析 ，SpringMVC， Highchat 2）Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts实现的 电商离线/ 中国在线）日志收集系统、日志分析、数据展示设计 课程十三、项目实战：基于1号店的电商实时数据分析系统  课程简介 课程基于1号店的业务及数据进行设计和的，主要涉及 1、课程中完整开发3个Storm项目 ，均为企业实际项目 ，其中一个是完全由Storm Trident开发。项目源码均可以直接运行，也可直接用于商用或企业。 2、每个技术均采用最新稳定版本 ，学完后会员可以从Kafka到Storm项目开发 及HighCharts图表开发一个人搞定！让身价剧增！ 3、搭建CDH5生态完整平台 ，且采用ClouderaManager界面化管理CDH5 平台。让Hadoop平台搭建和都变得轻而易举。 4、分享实际项目的架构设计、优劣分析和取舍、经验技巧，陡直提升的经 验值  课程内容 学完本课程，可以实现以下目标： 1、全面掌握Storm完整项目开发思和架构设计 2、掌握StormTrident项目开发模式 3、掌握Kafka运维和API开发、与Storm接口开发 4、掌握HighCharts各类图表开发和实时无刷新加载数据 5、熟练搭建CDH5生态完整平台 6、灵活运用HBase作为外部存储 32 69/ 中国在线、可以做到以一己之力完成从后台开发（Storm、Kafka、Hbase开发）到 前台HighCharts图表开发、Jquery运用等，所有工作一个人搞定！ 可以一个人搞定淘宝双11大屏幕项目！ 课程十四、项目实战：基于美团网的大型离线电商数据分析平台  课程简介 本项目使用了Spark技术生态栈中最常用的三个技术框架，SparkCore、Spark SQL和SparkStreaming，进行离线计算和实时计算业务模块的开发。实现了包括用 户访问session分析、页面单跳率统计、热门商品离线统计、广告点击流量实时 统计4个业务模块。过合理的将实际业务模块进行技术整合与，该项目完全涵盖 了SparkCore、SparkSQL和SparkStreaming这三个技术框架中几乎所有的功能点、 知识点以及性能优化点。仅一个项目，即可全面掌握Spark技术在实际项目中如何实 现各种类型的业务需求 ！在项目中 ，重点了实际企业项目中积累下来的宝贵的性 能调优、troubleshooting以及数据倾斜解决方案等知识和技术  课程内容 1）真实还原完整的企业级大数据项目开发流程：项目中采用完全还原企业大数据项 目开发场景的方式来，每一个业务模块的都包括了数据分析、需求分析、方 案设计、数据库设计、编码实现、功能测试、性能调优、troubleshooting与解决数 据倾斜 （后期运维）等环节 ，真实还原企业级大数据项目开发场景。让掌握真实 大数据项目的开发流程和经验！ 2）现场Excel手工画图与写笔记：所有复杂业务流程、架构原理、Spark技术原理、 33 69/ 中国在线职业教育领导品牌 业务需求分析、技术实现方案等知识的，采用Excel画图或者写详细比较的方式 进行与分析 ，细致入微、形象地透彻剖析理论知识 ，帮助更好的理解、记忆 与复习巩固。 课程十五、大数据高薪面试剖析  课程简介 本阶段通过对历来大数据公司企业真实面试题的剖析 ， ，让真正的一个 菜鸟转型为具有1年以上的大数据开发工作经验的专业人士，也是多年来大数据 企业开发的经验之谈。  课程内容 1）大数据项目 2）企业大数据项目的类型 3）技术架构（如何使用各框架处理数据） 4）冲刺高薪面试 5）面试简历编写（把握重点要点） 6）面试中的技巧 7）常见面试题 8）如何快速融入企业进行工作（对于大数据公司来说非常关键） 9）答疑 10）针对普遍问题进行公共解答 11）一对一的交流 34 69/ 中国在线职业教育领导品牌 阶段二、阿里云企业级大数据认证技术培训 课程十六、ACP11003全面理解阿里云上的数据处理和分析  课程简介 如何快速有效的处理海量数据，并从中分析出宝贵的信息内容是每一个架构师和 开发者梦寐以求的目标 ；对于运维人员来说 ，怎样部署庞大复杂的集群系统也是 一个非常现实的问题。本课程将向您详细介绍阿里云的DRDS、RDS、OTS、ODPS、 ADS及DPC等相关数据处理和分析服务。课程由专业的阿里云主讲 ，结合丰富的 实验资源，对阿里云产品、技术、解决方案等进行专业和引导。  课程内容  课程价值 1）架构师和开发人员：如何快速有效的处理海量数据，并从中分析出宝贵的信息内 容 2）运维人员：怎样部署庞大复杂的集群系统  课程内容 1）详细介绍阿里云的DRDS、RDS、OTS、ODPS、ADS及DPC等相关数据处理和分 析服务。 2）真实客户案例：报表场景的实现 35 69/ 中国在线职业教育领导品牌 阶段三、大数据、云计算 -Java企业级核心应用 课程十七、深入Java性能调优  课程简介 国内关于Java性能调优的课程非常少，如此全面深入介绍Java性能调优，北风算 是独家，Special，十余年Java方面开发工作经验，资深软件开发系统架构师， 本套课程系多年工作经验与的总结 ，课程有着很高的含金量和实用价值 ，本课程 专注于java应用程序的优化方法，技巧和思想，深入剖析软件设计层面、代码层面、 JVM虚拟机层面的优化方法 ，理论结合实际 ，使用丰富的示例帮助理解理论知识。  课程内容 1）阿姆达尔定律 2）缓存组件 3）并行开发 4）线）享元模式 课程十八、JAVA企业级必备高级技术（WeblogicTomcat集群 Apach集群）  课程简介 36 69/ 中国在线职业教

　　请自觉遵守互联网相关的政策法规，严禁发布、、的言论。用户名:验证码:匿名?发表评论