Spark常见面试题整理

Spark常见面试题整理

之前写过不少SparkMLlib和SparkGraphX的应用，但是一直都没有像Flink那样系统的写过它的架构和API等，一方面是它们有很多类似的情况，基本都是一通百通，另一方面是确实懒，最近两天整理文档翻到之前整理的一些面试题和工作中积累的一些有关Spark的问题，再整理一下发出来~

1、Spark中如何优化Join操作？

分两种情况，一是小表Join大表，二是大表Join大表（小表Join小表，没有优化的必要），这里表的书法只是一种泛指，Spark中的join操作通用，包括RDD的Join。

• 小表Join大表
• 大表Join大表

Spark中如何优化Join操作？

2、数据倾斜问题具体指的是什么，一般怎么解决？

数据倾斜指的是数据在各个节点（执行器）之间分布不均衡，导致部分节点处理的数据量远多于其他节点（Spark和数仓中的数据倾斜本质是一个意思）。

Spark中常见的出现数据倾斜的原因：

• 数据分布本身就不均匀：比如电商行业存在一些热门商品，游戏行业存在一些热门礼包
• join或groupBy键的分布不均：如果进行这些操作时所依赖的键本身分布就是极不均衡的，某些键对应的数据量非常大，就会出现大量数据都分布在一个节点的问题即出现数据倾斜问题。
• 默认的分区策略不适用：Spark 默认使用哈希分区来分配数据。如果数据的键经过哈希后，不能均匀地分布在不同的分区，也会造成数据倾斜。

数据倾斜解决方案

3、Spark中的缓存级别？

缓存机制能提高程序运行速度的原因是什么？

4、Spark中的窄依赖和宽依赖分别指的是什么？

Spark中的窄依赖和宽依赖分别指的是什么？

5、Spark中的任务和阶段分别指的是什么？

阶段是 Spark 执行过程中的一个关键概念。一个 Spark 作业由一系列的阶段组成，每个阶段包含对数据的一组并行操作。阶段的划分基本上由宽依赖（Shuffle 依赖）决定。（即如果一个操作，如 reduceByKey() 或 groupBy()，需要数据重新分配（Shuffle），Spark 会结束当前阶段并启动一个新阶段，因为这些操作需要从多个节点读取和重新组合数据，对于不需要大规模数据重组的操作（如 map()、filter()），可以在同一阶段内连续处理，因为这些操作仅涉及单个或少数几个父分区的数据处理）每当一个操作引入了宽依赖，Spark 就会结束当前的阶段并开始一个新阶段。

6、Spark中缓存和检查点（Checkpoint）的区别？

核心区别：是否切断血缘依赖
Spark中缓存和检查点（Checkpoint）的区别？

总结