搭建完全分布式高可用大数据集群(Scala+Spark)
- scala-2.13.16.tgz
- spark-3.5.4-bin-without-hadoop.tgz
注:请在阅读本篇文章前,将以上资源下载下来。
写在前面
本文主要介绍搭建完全分布式高可用集群Spark的详细步骤。
注意: 统一约定将软件安装包存放于虚拟机的/software
目录下,软件安装至/opt
目录下。
安装Scala
以下步骤都在虚拟机master
中执行,然后复制到虚拟机slave01
和slave02
中。
- 上传scala包。
用 finalshell 将 scala-2.13.16.tgz 上传到虚拟机ma