当前位置: 首页 > article >正文

1. hadoop环境准备

环境准备

准备三台虚拟机,配置最好是 2C 4G 以上

本文准备三台机器的内网ip分别为

172.17.0.10
172.17.0.11
172.17.0.12

本机配置/etc/hosts

cat >> /etc/hosts<<EOF
172.17.0.10 hadoop01
172.17.0.11 hadoop02
172.17.0.12 hadoop03
EOF

本机设置与服务器地址免密登录

这一步可以设置也可以不设置,在mac电脑上设置免密登录比较方便

如果是通过工具入secure-crt那也可以记住密码就行

ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop01

ssh root@hadoop01 测试看能不能登录

主机修改hostname

分别进入三台虚拟机,设置对应的hostname

hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03

效果如图所示
hadoop01

主机配置hosts

与本机操作一样

cat >> /etc/hosts<<EOF
172.17.0.10 hadoop01
172.17.0.11 hadoop02
172.17.0.12 hadoop03
EOF
ping hadoop02
PING hadoop02 (172.17.0.11) 56(84) bytes of data.
64 bytes from hadoop02 (172.17.0.11): icmp_seq=1 ttl=64 time=0.195 ms
64 bytes from hadoop02 (172.17.0.11): icmp_seq=2 ttl=64 time=0.147 ms

网络时间同步

每台机器时间最好同步下,避免后面出现问题

查看是否有 ntpdate

which ntpdate

# 如果没有就安装
yum install ntpdate -y

统一时区上海时区

ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
bash -c "echo 'Asia/Shanghai' > /etc/timezone"

使用阿里服务器进行时间更新

# 使用阿里服务器进行时间更新
ntpdate ntp1.aliyun.com

查看当前时间

date
Thu Nov 16 10:08:47 CST 2023

配置jdk

由于hadoop以及zk都需要jdk环境,所以我们把jdk配置到全局访问路径下

我们就放在自己的目录下 /apps/svr

创建文件夹 mkdir -p /apps/svr

赋权 chmod -R 777 /apps/svr

上传jdk scp jdk.tar.gz root@hadoop01:/apps/svr

解压 tar -zxvf jdk.tar.gz

配置环境变量加到 /etc/bashrc 的最后面

export JAVA_HOME=/apps/svr/jdk
PATH=$PATH:$JAVA_HOME/bin
export PATH

source /etc/bashrc

查看java版本

java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

如上所示表示配置成功,其它两台机器一样的操作配置

总结

hadoop集群的环境准备就到这里,后面我们基于这套环境部署zk,hdfs,yarn


欢迎关注,学习不迷路!


http://www.kler.cn/news/136128.html

相关文章:

  • 基于一致性算法的微电网分布式控制MATLAB仿真模型
  • Java格式化类Format
  • 电子学会C/C++编程等级考试2022年06月(一级)真题解析
  • 初识分布式键值对存储etcd
  • Zotero在word中插入带超链接的参考文献/交叉引用/跳转参考文献
  • 工作记录---为什么双11当天不能申请退款?(有趣~)
  • 万字长文 - Python 日志记录器logging 百科全书 - 高级配置之 日志分层
  • 2023-11-18 mysql-sysbench压测TPS/QPS-记录
  • LangChain 5易速鲜花内部问答系统
  • 使用cli批量下载GitHub仓库中所有的release
  • 暖阳脚本_ 将Agent技术的灵活性引入RPA,清华等发布自动化智能体ProAgent
  • SpringCloud--分布式锁实现
  • K8S配置资源管理
  • 2024年山东省职业院校技能大赛中职组 “网络安全”赛项竞赛试题-C卷
  • 【grafana | clickhouse】实现展示多折线图
  • SVR和SVM是什么关系
  • ES索引数据清理脚本示例
  • 01背包 P1507 NASA的食物计划
  • 十一、统一网关GateWay(搭建网关、过滤器、跨越解决)
  • 傅里叶级数@正弦级数和余弦级数@奇偶延拓和周期延拓