SparkContext初始化

掌握如何实现SparkContext初始化。

相关知识

• SparkConf 是SparkContext的构造参数，储存着Spark相关的配置信息，且必须指定Master(比如Local)和AppName（应用名称），否则会抛出异常；
• SparkContext 是程序执行的入口，一个SparkContext代表一个 Application。

初始化过程的主要核心：

1. 依据SparkConf创建一个Spark执行环境SparkEnv；
2. 创建并初始化Spark UI，方便用户监控，默认端口为 4040；
3. 设置Hadoop相关配置及Executor环境变量；
4. 创建和启动TaskScheduler，DAGScheduler。

初始化方式：

1. SparkConf conf = new SparkConf().setAppName(appName).setMaster(master)
2. JavaSparkContext sc=new JavaSparkContext(conf)

程序运行完后需使用sc.stop()关闭SparkContext。

编程要求

Master 需指定为local模式，指定 AppName 为educoder。

1. import org.apache.spark.api.java.JavaSparkContext;
2. import org.apache.spark.api.java.JavaRDD;
3. import org.apache.spark.SparkConf;
4. import java.util.Arrays;
5. import java.util.List;
7. public class Edu {
8. public static void main(String[] args) {
9. /********** Begin **********/
10. //设置SparkConf
11. SparkConf conf = new SparkConf().setAppName("educoder").setMaster("local");
12. //初始化SparkContext
13. JavaSparkContext sc = new JavaSparkContext(conf);
14. /********** End **********/
16. List<String> data = Arrays.asList("hello");
17. JavaRDD<String> r1 = sc.parallelize(data);
18. System.out.print(r1.collect());
20. /********** Begin **********/
21. //关闭SparkContext
22. sc.stop();
23. /********** End **********/
25. }
26. }