Celeborn和HDFS、YARN混合部署

环境说明

• celeborn和HDFS、YARN部署在同一套集群中
• 准备三台服务器，分别为：bigdata141（hadoop 主节点）、bigdata142、bigdata143
• 确保 hadoop 集群先启动好，我这边的 hadoop 版本为 3.2.0
• spark集群基于 yarn 部署好，我这边的 spark 版本为 3.1.3
• 另准备一台服务器，bigdata144，作为 hadoop 客户端节点，也是作为spark的客户端节点

下载安装包

下载链接：Download - Apache Celeborn™

这边选择 0.5.0 版本

下载完后上传到 bigdata141 的 /data/soft/ 目录下

 解压并配置

解压

 解压，然后进入

[root@bigdata141 soft]# tar -zxvf apache-celeborn-0.5.0-bin.tgz
[root@bigdata141 soft]# cd apache-celeborn-0.5.0-bin;ll
[root@bigdata141 apache-celeborn-0.5.0-bin]# cd conf/;ll

配置

1、各复制一份以下配置文件

[root@bigdata141 conf]# cp log4j2.xml.template log4j2.xml
[root@bigdata141 conf]# cp celeborn-env.sh.template celeborn-env.sh
[root@bigdata141 conf]# cp celeborn-defaults.conf.template celeborn-defaults.conf
[root@bigdata141 conf]# vi celeborn-defaults.conf

2、接着修改 celeborn-defaults.conf，

•  celeborn.worker.storage.dirs 指定 shuffle 数据的存储位置为 /data/soft/apache-celeborn-0.5.0-bin/shuffle
• celeborn.master.endpoints 指定 master 节点为 bigdata141:9097
• celeborn.master.ha.enabled 关闭高可用为 false

3、然后将配置好的安装包拷贝到 bigdata142、143 节点中

[root@bigdata141 soft]# scp -rq apache-celeborn-0.5.0-bin/ bigdata142:/data/soft/
[root@bigdata141 soft]# scp -rq apache-celeborn-0.5.0-bin/ bigdata143:/data/soft/

启动Celeborn

1、在 bigdata141 启动 Master

[root@bigdata141 apache-celeborn-0.5.0-bin]# sbin/start-master.sh

 2、在 bigdata142、143 分别启动 Worker，注意启动worker时需要指定master节点的信息

[root@bigdata142 apache-celeborn-0.5.0-bin]# sbin/start-worker.sh celeborn://bigdata141:9097

[root@bigdata143 apache-celeborn-0.5.0-bin]# sbin/start-worker.sh celeborn://bigdata141:9097

3、使用 jps 命令查看是否启动

查看 Master 日志，“Registered worker”

这样就ok了。