Spark SQL读写Hive Table部署
个人博客地址：Spark SQL读写Hive Table部署 | 一张假钞的真实世界
官网参考文档：Hive Tables。
本文使用的组件版本如下：
- Spark 3.1.2
- Hive 3.1.2
第一步：Hive部署
在所有Worker节点上部署Hive。主要是使用Hive下面的libs。
第二步：Spark CLASSPATH
在${SPARK_HOME}/conf/spark-env.sh中添加以下内容：
export SPARK_DIST_CLASSPATH=$(hadoop classpath)第三步：编译Spark
编译的目的是支持Hive。
./dev/make-distribution.sh --tgz -Phive -Phive-thriftserver -Pyarn -Dhadoop.version=3.2.2 -Phadoop-provided第四步：部署Spark On Yarn
部署过程比较简单。部署过程遇到的问题参见另外一篇博文：Spark on YARN部署
第五步：兼容Hive 3.1.2
- 将hive-site.xml复制到spark配置目录下。
- 在配置文件spark-defaults.conf中添加以下内容。假设Hive安装目录为：/opt/hive。
spark.sql.hive.metastore.version 3.1.2
spark.sql.hive.metastore.jars path
spark.sql.hive.metastore.jars.path file:///opt/hive/lib/*.jar注意：这些Jar包需要使用Hive 3.1.2版本的。