【Spark】Spark SQL执行计划-精简版
Spark SQL分为四个子项目：
Catalyst (sql/catalyst)：
- Catalyst 是 Spark SQL 使用的功能性、可扩展的查询优化器。它是一个与实现无关的框架，用于操作关系运算符和表达式的树。包括两部分：用来表示树的函数库和应用于该树的规则库
Execution (sql/core)：
- 查询计划程序/执行（planner / execution）引擎，用于将Catalyst的逻辑查询计划转换为Spark RDD代码。该组件还包括一个新的公共接口 SQLContext，它允许用户针对现有的 RDD和Parquet文件执行SQL或LINQ语句。
Hive支持 (sql/ Hive)：
- 包括名为 HiveContext 的 SQLContext 扩展，允许用户使用 HiveSQL 的子集编写查询并使用 Hive SerDes 从 Hive Metastore 访问数据。还有一些包装器允许用户运行包含 Hive UDF、UDAF 和 UDTF 的查询。
HiveServer和CLI支持 (sql/hive-thriftserver)
- 包括对 SQL CLI (bin/spark-sql) 和 HiveServer2（用于 JDBC/ODBC）兼容服务器的支持。
SparkSQL执行过程：
Parser: 利用Antlr4对SQL语句进行词法和语法的解析，抽象成AST语法树并转换成Unresolved Logical Plan；
Analyzer：Catalyst要结合DataFrame的Schema信息，来确认计划中的表名、字段名、字段类型与实际数据是否一致，完成确认之后，将 Unresolved Logical Plan 解析成 Analyzed logical plan；
Optimizer：Catalyst基于一些既定的启发式规则将 Analyzed logical plan 解析成 Optimized Logical Plan；规则：如谓词下推，列减裁，常量替换；
Planner：
- 在优化Spark Plan的过程中，Catalyst基于既定的优化策略(Strategies)，把逻辑计划中的关系操作符一一映射成物理操作符，生成Spark Plan；优化策略(Strategies)如下：
- SpecialLimits：指定Limit策略
- InMemoryScans：缓存策略
- Aggregation：聚合策略
- JoinSelection：Join策略选择
- BasicOperators：逻辑到物理操作符的映射，如Project、Filter、Sort等
- 在生成Physical Plan过程中，Catalyst再基于事先定义的Preparation Rules，对Spark Plan做进一步的完善、生成可执行的Physical Plan。Preparation Rules如下：
- EnsureRequirements：验证输出的分区（partition）和我们要的分区是不是一样，不一样的话需要添加shuffle重分区，如果有排序需求，要添加Sort操作，
- CollapseCodegenStages：全阶段代码生成(Whole Stage Code Generation)
- ReuseExchange：内存或磁盘复用，
- ReuseSubquery：子查询复数用
- PlanSubqueries：生成子查询
- ExtractPythonUDFs ：提取Python的UDF函数
Code Generation：选定最优的物理执行计划，准备生成字节码去开始执行