55、6.3.spark Shell.启动和提交任务

学员 1、1.1.认识scala

学员 2、1.2.安装开发环境

学员 3、1.3.scala Shell、用idea创建maven项目

学员 4、1.4.配置maven本地仓库、导入切换项目等其它配置

学员 5、1.5.变量的声明

学员 6、1.6.scala的7种值类型和条件表达式

学员 7、1.7.for循环

学员 8、1.8.方法和函数的声明以及方法转换成函数

学员 9、1.9.数组

学员 10、1.10.映射

学员 11、1.11.元组

学员 12、1.12.集合之seq

学员 13、1.13.集合之set

学员 14、1.14.集合之map

学员 15、2.1.lazy关键字

学员 16、2.2.函数式编程练习之常用方法

学员 17、2.3.函数式编程之reduce

学员 18、2.4.函数式编程之fold

学员 19、2.5.函数式编程之aggregate

学员 20、2.6.函数式编程之交并差集

学员 21、2.7.scala实现wordcount

学员 22、3.1.创建类、属性

学员 23、3.2.构造器、辅助构造器

学员 24、3.3.单例对象

学员 25、3.4.伴生对象

学员 26、3.5.apply和unapply方法

学员 27、3.6.private关键字

学员 28、3.7.特质、抽象类、继承、重写、实现等

学员 29、3.8.模式匹配之匹配字符串

学员 30、3.9.模式匹配之匹配类型

学员 31、3.10.模式匹配之匹配数组、元组、集合

学员 32、3.11.模式匹配之样例类

学员 33、3.12.模式匹配之偏函数

学员 34、4.1.作为值的函数

学员 35、4.2.柯里化概念及声明方式

学员 36、4.3.柯里化练习

学员 37、4.4.隐式转换和隐式参数

学员 38、4.5.隐式转换练习1

学员 39、4.6.隐式转换练习2

学员 40、4.7.泛型

学员 41、4.8.upperbound

学员 42、4.9.viewbound

学员 43、4.10.contextbound

学员 44、5.1.actor概念

学员 45、5.2.actor实例之创建actor

学员 46、5.3.actor实例之消息的接收与发送（异步没有返回值）

学员 47、5.4.actor实例之消息的接收与发送（同步有返回值）

学员 48、5.5.actor实例之消息的接收与发送（异步有返回值）

学员 49、5.6.actor实例之并行编程思想实现单词计数

学员 50、5.7.akka简介

学员 51、5.8.akka案例需求分析

学员 52、5.9.akka案例代码分析

学员 53、6.1.spark简介

学员 54、6.2.spark集群搭建、启动

学员 56、6.4.spark Wordcount

学员 57、6.5.上传并执行任务

学员 58、7.1.rdd的概念

学员 59、7.2.生成rdd的两种方式

学员 60、7.3.两种类型的算子：transformation和action

学员 61、8.1.案例需求-求用户在某基站停留的时间

学员 62、8.2.案例实现-求用户在某基站停留的时间

学员 63、8.3.案例实现-求用户访问学科的子网页top3

学员 64、8.4.案例实现-求用户访问学科的子网页top3-chache、自定义分区器

学员 65、9.1.spark集群启动流程

学员 66、9.2.spark任务提交流程

学员 67、9.3.wordcount中创建了那些rdd

学员 68、9.4.案例分析实现-按照ip统计区域访问量

学员 69、10.1.rdd之间的依赖关系

学员 70、10.2.dag的生成和stage的划分

学员 71、10.3.webui观察stage划分和任务的生成

学员 72、10.4.自定义二次排序

学员 73、11.1.checkpoint

学员 74、11.2.sparksql介绍

学员 75、11.3.创建dataframe

学员 76、11.4.dataframe常用操作-dsl风格语法

学员 77、11.5.dataframe常用操作-sql风格语法

学员 78、11.6.通过反射推断schema

学员 79、11.7.通过structtype直接指定schema

学员 80、11.8.hive-on-spark

学员 81、12.1.sparkstreaming简介

学员 82、12.2.实例分析：sparkstreaming获取netcat产生的数据进行实时分析

学员 83、12.3.sparkstreaming实现按批次累加

学员 84、12.4.窗口函数概念及使用场景

学员 85、12.5.窗口函数实现wordcount

学员 86、12.6.spark-on-yarn

学员 87、13.1.关于查看源码的一些介绍

学员 88、13.2.导入源码

学员 89、13.3.集群启动流程-master类

学员 90、13.4.集群启动流程-worker类

学员 91、13.5.sparksubmit提交任务

学员 92、13.6.sparkcontext

学员 93、13.7.创建driveractor和clientactor的过程

学员 94、13.8.clientactor向master注册任务信息过程

学员 95、13.9.任务调度的两种方式及master通知worker启动executor的过程

学员 96、13.10.executor向driveractor反向注册的过程

学员 97、13.11.rdd生成和stage划分

学员 98、13.12.生成任务并提交

学员 99、13.13.task任务执行流程

学员 100、13.14.总结-任务生成及提交流程