当前位置：首页 > article >正文

本地部署大数据集群前置准备

article 2025/3/4 11:32:15

1. 设置VMware网段

虚拟网络编辑器——更改设置——选择VMnet8——子网改成192.168.88.0——NAT设置——网关设置为192.168.88.2

2. 下载CentOS操作系统

下载CentOS 7.6(1810)版本

3. 在VMware中安装CentOS操作系统

创建新的虚拟机——典型——安装光盘映像文件——输入账户名和密码(用户名为hadoop)——给虚拟机起名字并配置路径——磁盘大小默认——完成——等待13分钟左右

4. 克隆出3台虚拟机

将当前虚拟机关机——右键——管理——克隆——下一页——下一页——创建完整克隆——起名并选择路径——完成

重复3次，创建3个节点Node1、Node2、Node3

5. 设置内存

在编辑虚拟机设置里修改内存，将Node1作为主节点，内存设置为4GB，Node2和Node3为2GB

6. 配置主机名与固定IP

修改主机名，打开终端并执行

su - 
hostnamectl set-hostname node1

Node2、Node3同理，重新打开终端主机名则改变

设置固定IP

su - 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

--将dhcp协议改为static
BOOTPROTO="static"

--node1的IPADDR为101，node2为102，node3为103
IPADDR="192.168.88.101"
NETMASK="255.255.255.0"
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

--重启网卡
systemctl restart network

7. 配置主机名映射

在Windows系统中修改hosts文件，路径为C:\Windows\System32\drivers\etc\hosts，添加如下

在Linux中修改hosts文件，路径为/etc/hosts，在Node1、Node2、Node3中添加如下

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8. 配置SSH免密登录

--给3个节点分别生成ssh密钥，一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

9. 给hadoop用户配置免密登录

su - hadoop

--给3个节点分别生成ssh密钥，一路回车到底
ssh-keygen -t rsa -b 4096

--创建完密钥后在3个节点分别执行免密登录授权
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

10. 配置JAVA环境

下载JDK1.8的安装包并上传，然后在3个节点分别执行

su -

mkdir -p /export/server
cd /export/server/

tar -zxf jdk-8u361-linux-x64.tar.gz -C /export/server/
ln -s /export/server/jdk1.8.0_361/ /export/server/jdk

vim /etc/profile

--添加如下内容
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

--加载环境变量
source /etc/profile

rm -f /usr/bin/java
ln -s /export/server/jdk/bin/java /usr/bin/java

--验证java环境
java -version
javac -version

11. 关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

12. 关闭SElinux

vim /etc/sysconfig/selinux

--将SELINUX=enforcing改为
SELINUX=disabled

13. 时间同步

使用的 CentOS 7 仓库已经被归档，当前的镜像地址无法找到所需的文件，重新配置yum源

rm -f /etc/yum.repos.d/*

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

yum clean all
yum makecache

设置时间同步

yum install -y ntp

rm -f /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate -u ntp.aliyun.com

systemctl start ntpd
systemctl enable ntpd