当前位置: 首页 > article >正文

Ambari搭建Hadoop集群 — — 问题总结

Ambari搭建Hadoop集群 — — 问题总结

一、部署教程:

参考链接:基于Ambari搭建大数据分析平台-CSDN博客

二、问题总结:

1. VMwear Workstation 查看网关

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2. 资源分配

参考

  1. 硬盘:master(29 GB)、slave1(29 GB)、slave2(29 GB)
  2. 内存:master(4 GB)、slave1(2 GB)、slave2(2 GB)
  3. 处理器:master(1个处理器,4个内核)、slave1(1个处理器,2个内核)、slave2(1个处理器、2个内核)

推荐配置

  1. 硬盘:master(30 GB)、slave1(25 GB)、slave2(25 GB)
  2. 内存:master(4 GB)、slave1(2 GB)、slave2(2 GB)
  3. 处理器:master(1个处理器,4个内核)、slave1(1个处理器,2个内核)、slave2(1个处理器、2个内核)

3. CentOS-7 语言问题

在这里插入图片描述

在安装 CentOS-7 时,如果选择了使用中文进行安装,那么在之后使用 Ambari 安装 Hadoop 时,在步骤 confirm hosts时会出现无限读条问题,就是每一个节点都SUCCESS但是无法进行下一步,进入无限等待状态,此时极大可能时语言的问题,需要进行额外的配置:

  1. 修改/etc/locale.conf文件:

    vim /etc/locale.conf
    
  2. 将内容设置为:

    LANG="en_US.UTF-8"
    
    LANGUAGE="en_US:en"
    

4. YUM 换源

  1. yum 的源换为国内的阿里源:

    curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
    
  2. 清除 yum 缓存:

    yum clean all
    
  3. 生成 yum 的元数据缓存:

    yum makecache
    

5. 安装 ifconfig

CentOS-7 没有安装 ifconfig 命令的情况下,可通过以下办法进行解决:

  1. 搜索 ifconfig 关键字的软件包:

    yum search ifconfig
    

    在这里插入图片描述

  2. 可以查找到 ifconfig 命令在 net-tools.x86_64 包里,安装 net-tools.x86_64 包:

    yum install net-tools.x86_64
    

    在这里插入图片描述

  3. 使用 ifconfig 查看网卡信息,检验能否正常使用:

    ifconfig
    

    在这里插入图片描述

6. HDP 版本号丢失

在 ambari 部署服务的时候,第二步 Select Version 无法找到安装的 HDP版本号(HDP版本号丢失)问题:

在这里插入图片描述

此时有两种解决办法:

  1. 加载 HDP-xxx.xml 文件,我的路径为 /var/www/html/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,将该文件通过 xftp 等软件传输到 windows 系统上,然后在将该文件添加即可。
    在这里插入图片描述

  2. 加载 URL,根据自己的IP以及文件路径进行设置,我的路径为:http://master/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,其中 master 为主节点的 IP,如没有配置映射,需要使用完整的 IP 来进行访问,如:http://192.168.93.131/HDP/centos7/2.6.3.0-235/HDP-2.6.3.0-235.xml,然后选择添加该URL即可。

    在这里插入图片描述

三、致谢

  • 基于Ambari搭建大数据分析平台-CSDN博客

  • Ambari部署及hdp部署的疑难问题解答汇总_ambarihdp-CSDN博客

  • Ambari2.7.3+HDP3.1.0部署集群时-HDP Version丢失问题_hdp-select versions报错-CSDN博客

  • Ambari安装----Confirm Hosts Registering with the server failed解决办法_registering with the server… registration with t-CSDN博客

  • 解决CentOS7的yum无法安装的问题_cenos 安装不了任何服务-CSDN博客

  • 【尚硅谷】大数据技术之Ambari(安装丨配置丨部署)_哔哩哔哩_bilibili


http://www.kler.cn/news/336354.html

相关文章:

  • 阿里巴巴_java开发规范手册详解
  • 自然语言处理:第五十一章 LangChain面经
  • 如何使用Redisson的布隆过滤器?
  • 初入网络学习第一篇
  • 【自用】王道文件管理强化笔记
  • Qt界面编程03
  • 【React】入门Day03 —— Redux 与 React Router 核心概念及应用实例详解
  • C# 泛型编程基础:自定义泛型类、方法与接口的应用
  • 基于场景的营销:开源AI智能名片S2B2C商城小程序的机遇与挑战
  • 推理攻击-Python案例
  • C++ Linux多进程同步-命名信号量
  • Docker系列-5种方案超详细讲解docker数据存储持久化(volume,bind mounts,NFS等)
  • Hive数仓操作(十六)
  • Flutter---适配高版本studio运行里面的Android项目报错
  • 网络层常用互联网协议
  • (15)衰落信道模型作用于信号是相乘还是卷积
  • Electron桌面应用打包现有的vue项目
  • 如何使用ssm实现基于Java的校园二手物品交易平台的设计与实现+vue
  • 【含开题报告+文档+PPT+源码】基于SpringBoot的校园互助平台设计与实现【包运行成功】
  • 多因素身份验证技术的原理及实现方式