当前位置： 首页 > article >正文

Hdoop学习笔记（HDP）-Part.03 资源规划

article 2024/9/24 13:22:24

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名FQDNIP服务器配置
hdp01hdp01.hdp.com192.168.111.201/248c、8G、200GB+50GB
hdp02hdp02.hdp.com192.168.111.202/248c、8G、200GB+50GB
hdp03hdp03.hdp.com192.168.111.203/248c、8G、200GB+3*100GB
hdp04hdp04.hdp.com192.168.111.204/248c、8G、200GB+3*100GB
hdp05hdp05.hdp.com192.168.111.205/248c、8G、200GB+3*100GB

2.磁盘规划

主机磁盘分布
hdp01
hdp02		/dev/sda：系统盘
/dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode
hdp03/dev/sda：系统盘
/dev/sdb：/data01，zookeeper、DataNode、JournalNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode
hdp04
hdp05		/dev/sda：系统盘
/dev/sdb：/data01，DataNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode

3.组件规划

组件版本hdp01hdp02hdp03hdp04hdp05
ansible2.9.27★
MySQL5.7.25★★
Ambari-metricsMetrics Collector0.2.0★
Metrics Monitor★★★★★
Grafana★
ZooKeeperZooKeeper Server3.4.6★★★
ZooKeeper Client★★
HDFSNameNode3.1.1.3.1★★
DataNode★★★
JournalNode★★★
zkfc★★
YARNResourceManager3.1.1★★
NodeManager★★★
HistoryServer★
TimelineService★
Timeline Service Reader★
Registry DNS★
OpenLDAPopenldap-server2.4.44★★
openldap-client★★★★★
migrationtools★★
phpldapadmin★★
keepalivedv1.3.5★★
HaProxy1.5.18★★
kerberosKrb5-server1.15.1★★
krb5-workstation★★★★★
RangerRanger Admin1.2.0.3.1★★
UserSync★
HiveHiveServer23.1.0★★
MetaStore★★
Tez0.9.1★★★★★
HBaseHMaster2.0.2★★
RegionServer★★★
SparkSpark2 History Server2.3.0★
Flinkclient1.9.3★★★★★
Kafkabroker2.0.0★★★
kafka manager2.0.0.2★
Flumeflume1.9.0★★★

http://www.kler.cn/news/155842.html

相关文章：

  • 微服务详细介绍（什么是微服务）
  • go并发编程（中）
  • 【计网 面向连接的传输TCP】 中科大笔记 （十 二）
  • 每日一题：LeetCode-209. 长度最小的子数组（滑动窗口）
  • JAVA代码优化：Spring中redis的工具类
  • 计算机视觉（CV）技术的优势和挑战-AI生成版
  • HarmonyOS应用开发者高级认证--96分
  • Nested Named Entity Recognition with Span-level Graphs
  • Linux脚本awk命令
  • SpringBootCache缓存——j2cache
  • docker容器内部文件挂载主机
  • 查看MySQL中具体哪个部分占用了内存
  • 【Python/Java/C++三种语言】20天拿下华为OD笔试之【哈希表】2023B-单词接龙【欧弟算法】全网注释最详细分类最全的华为OD真题题解
  • 纯cpp如何模拟qt的信号与槽
  • 计算UDP报文CRC校验的总结
  • vue2+element-ui npm run build打包后，在服务器打开报错
  • vue 使用decimal.js 解决小数相加合计精确度丢失问题
  • 强化学习------时序差分（Temporal-Difference Learning）
  • 【开源】基于Vue.js的超市账单管理系统的设计和实现
  • Mybatis使用注解实现复杂动态SQL
  • 【CVE-2023-49103】ownCloud graphapi信息泄露漏洞（2023年11月发布）
  • 栈和队列的OJ题--13.用队列实现栈
  • java_基础——ArrayList
  • Spring一些基础问题整理
  • 谱方法学习笔记-下(超详细)
  • 基于Java SSM框架+Vue实现旅游资源网站项目【项目源码+论文说明】计算机毕业设计
  • 【云原生Prometheus篇】Prometheus PromQL语句详解 1.0
  • 使用idea中的Live Templates自定义自动生成Spring所需的XML配置文件格式
  • Redis部署脚本（完成-第一版）
  • shell命令编写