当前位置： 首页 > article >正文

基于VirtualBox虚拟机部署完全分布式Hadoop环境

article 2025/2/23 14:16:17

搭建

一、Ubuntu系统搭建

系统搭建
在这里插入图片描述

二、host配置

首先创建一个新用户hadoop并且分配权限，切换到hadoop用户下
在这里插入图片描述

成功切换
然后可以先克隆一下另一个虚拟机，为了之后的相互通信
在这里插入图片描述

直接点击虚拟机右键克隆即可

但是这里有一个问题，就是在克隆之后两个主机的/etc/hosts里面的ip地址是相同的，待会在传输公钥的时候无法正确生效，所以可以先更改一下两台虚拟机的ip地址和映射，
这个是需要的ip地址
在这里插入图片描述

克隆虚拟机（salve01）：
在这里插入图片描述

主虚拟机（master）
在这里插入图片描述

三、ssh配置

安装ssh
在这里插入图片描述

这里已经安装过ssh
在这里插入图片描述

公钥传输完毕
在这里插入图片描述

对另一个主机名也是一样的配置，复制完公钥后删除传来的公钥
在这里插入图片描述

四、jdk配置

在这里插入图片描述

五、hadoop配置文件

安装hadoop，解压，并修改文件名和文件权限
在这里插入图片描述

在这里插入图片描述

添加hadoop的环境变量

在这里插入图片描述
在这里插入图片描述

六、hadoop的启动与停止

在这里插入图片描述
在这里插入图片描述

下面就是一些错误的排查了，发现了很多错误

错误

ip地址无法正确连接

需要找到正确的地址加到hosts里面
将原来hosts里的地址修改为这个
在这里插入图片描述

使用映射无法解析

在这里插入图片描述
可以直接使用地址就行

其他就是一些环境变量的问题hadoop和java，检查一下环境变量和权限就没问题
有任何其他问题可以私聊我~


http://www.kler.cn/a/557597.html

相关文章：

  • TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search
  • Pytorch框架03-网络的搭建(nn.Module/卷积层/池化层/非线性激活/线性层/CIFAR-10分类模型搭建)
  • 分页功能组件开发
  • 1688代采下单API接口使用指南：实现商品采集与自动化下单
  • 深度学习-5.卷积网络
  • npm、pnpm和yarn有什么区别
  • Matplotlib 高级图表绘制与交互式可视化（ipywidgets）
  • 【Windows系统node_modules删除失败(EPERM)问题解析与应对方案】
  • mysql之规则优化器RBO
  • 关于 Grok-3 大语言模型的研究
  • Web Worker终极优化指南：4秒卡顿→0延迟的实战蜕变
  • 【AcWing】动态规划-线性DP -选数异或
  • MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决
  • python脚本（一）：飞书机器人实现新闻抓取与推送
  • socket()函数的概念和使用案例
  • Android：权限permission申请示例代码
  • C++ 设计模式-模板方法模式
  • 【Python】Python顺序语句经典题合集
  • java开发——为什么要使用动态代理？
  • hot100_74. 搜索二维矩阵