当前位置： 首页 > article >正文

hadoop_yarn-site.xml

article 2024/11/1 11:31:11

hadoop3.2.3的高可用集群yarn-site.xml配置实例

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>


	<property>
	    <!-- 指定Resource Manager的主机名，这里将Resource Manager的主机名设置为"master" -->
	    <name>yarn.resourcemanager.hostname</name>
	    <value>master</value>
	</property>
	
	<property>
		<!-- 启用Resource Manager的高可用性(HA)功能 -->
 		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
    </property>
	
	<property>
		<!-- 指定用于HA的ZooKeeper集群的地址，这里使用了三个Kafka节点作为ZooKeeper服务，端口为2181 -->
    	<name>ha.zookeeper.quorum</name>
   		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!-- 指定YARN集群的ID，用于区分不同的YARN集群，这里设置为"myyarn" -->
		<name>yarn.resourcemanager.cluster-id</name>
		<value>myyarn</value>
	</property>
		
	<property>
		<!-- 指定YARN集群中Resource Manager的ID列表，这里有两个Resource Manager，分别为rm1和rm2 -->
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	
	<property>
		<!-- 指定ID为rm1的Resource Manager的主机名，这里设置为"namenode-1" -->
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>namenode-1</value>
	</property>
	
	<property>
		<!-- 指定ID为rm2的Resource Manager的主机名，这里设置为"namenode-2" -->
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>namenode-2</value>
	</property>
	
	<property>
		<!-- 指定ID为rm1的Resource Manager的Web应用地址，这里设置为"namenode-1:8088" -->
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>namenode-1:8088</value>
    </property>
	
	<property>
		<!-- 指定ID为rm2的Resource Manager的Web应用地址，这里设置为"namenode-2:8088" -->
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>namenode-2:8088</value>
	</property>
	
	<property>
		<!-- 指定YARN ResourceManager使用的ZooKeeper集群地址 -->
		<name>yarn.resourcemanager.zk-address</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>
	
	<property>
		<!-- 指定Hadoop集群使用的ZooKeeper集群地址，这里与YARN使用了相同的ZooKeeper集群 -->
		<name>hadoop.zk.address</name>
		<value>kafka-1:2181,kafka-2:2181,kafka-3:2181</value>
	</property>

　　<property>
		<!-- 指定NodeManager上运行的辅助服务列表，这里包括MapReduce的shuffle服务和Spark的shuffle服务 -->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle,spark_shuffle</value>
　　</property>
　　	
	<property>
		<!-- 启用日志聚合功能，使得YARN能够收集并聚合各个节点的日志，方便后续查看和分析 -->
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
　　</property>

	<property>
		<!-- 指定日志服务器的URL，用于访问聚合后的日志 -->
		<name>yarn.log.server.url</name>
		<value>http://datanode-7:19888/jobhistory/logs</value>
	</property>

	<property>
		<!-- 禁用NodeManager对物理内存的检查，避免因为内存不足而导致任务失败 -->
		<name>yarn.nodemanager.pmem-check-enabled</name>
		<value>false</value>
    </property>
	
	<property>
		<!-- 禁用NodeManager对虚拟内存的检查，同样是为了避免因为内存不足而导致任务失败 -->
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>

	<property>
		<!-- 指定YARN ResourceManager的地址，客户端和NodeManager需要通过这个地址与ResourceManager通信 -->
  		<name>yarn.resourcemanager.address</name>
  		<value>namenode-1:8032</value>
	</property>
	
	<property>
		<!-- 指定YARN ResourceTracker的地址，NodeManager需要通过这个地址向ResourceTracker报告资源使用情况 -->
  		<name>yarn.resourcemanager.resource-tracker.address</name>
  		<value>namenode-1:8031</value>
	</property>
	
	<property>
		<!-- 指定ID为rm1的ResourceManager的Scheduler地址，用于任务调度 -->
		<name>yarn.resourcemanager.scheduler.address.rm1</name>
		<value>namenode-1:8030</value>
    </property>
	
	<property>
		<!-- 指定ID为rm2的ResourceManager的Scheduler地址，同样用于任务调度 -->
		<name>yarn.resourcemanager.scheduler.address.rm2</name>
		<value>namenode-2:8030</value>
	</property>

	<property>
		<!-- 指定Spark shuffle服务的端口号，NodeManager上的Spark shuffle服务会监听这个端口以接收来自其他节点的shuffle数据 -->
		<name>spark.shuffle.service.port</name>
		<value>7337</value>
	</property>
	
	<property>
		<!-- 指定Spark shuffle服务在YARN NodeManager上的实现类 -->
		<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
		<value>org.apache.spark.network.yarn.YarnShuffleService</value>
	</property>

	<property>
		<!-- 指定YARN NodeManager可用的物理内存总量（以MB为单位） -->
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>98304</value>
  	</property>
	
  	<property>
		<!-- 指定YARN Scheduler为单个容器分配的最小内存量（以MB为单位） -->
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>1024</value>
  	</property>
	
	<property>
		<!-- 指定YARN Scheduler在增加容器内存分配时的增量（以MB为单位） -->
		<name>yarn.scheduler.increment-allocation-mb</name>
		<value>1024</value>
	</property>
	
  	<property>
		<!-- 指定YARN Scheduler为单个容器分配的最大内存量（以MB为单位） -->
		<name>yarn.scheduler.maximum-allocation-mb</name>
		<value>98304</value>
  	</property>

  	<property>
		<!-- 指定MapReduce ApplicationMaster（AM）所需的内存资源量（以MB为单位） -->
		<name>yarn.app.mapreduce.am.resource.mb</name>
		<value>18432</value>
  	</property>
	
  	<property>
		<!-- 指定MapReduce ApplicationMaster（AM）启动时的JVM参数，这里设置了最大堆内存为14745MB -->
		<name>yarn.app.mapreduce.am.command-opts</name>
		<value>-Xmx14745m</value>
  	</property>

  	<property>
		<!-- 指定YARN NodeManager可用的CPU虚拟核心数 -->
  		<name>yarn.nodemanager.resource.cpu-vcores</name>
  		<value>48</value>
  	</property>
	
	<property>
		<!-- 指定YARN Scheduler为单个容器分配的最小CPU虚拟核心数 -->
		<name>yarn.scheduler.minimum-allocation-vcores</name>
		<value>1</value>
	</property>
	
	<property>
		<!-- 指定YARN Scheduler在增加容器CPU分配时的增量（以虚拟核心为单位） -->
		<name>yarn.scheduler.increment-allocation-vcores</name>
		<value>1</value>
	</property>
	
  	<property>
		<!-- 指定YARN Scheduler为单个容器分配的最大CPU虚拟核心数 -->
  		<name>yarn.scheduler.maximum-allocation-vcores</name>
  		<value>48</value>
  	</property>

	<property>  
		<!-- 指定一个文件路径，该文件包含要排除的主机列表。这些主机将不会被用于运行MapReduce任务。 -->
		<name>mapred.hosts.exclude</name>  
		<value>/home/hadoop/hadoop/etc/hadoop/yarn.exclude</value>   
	</property>
	
	<property>
		<!-- 这个配置项设置了YARN应用程序运行时所需的类路径，包括Hadoop各个组件的库和配置文件。 -->
		<name>yarn.application.classpath</name>
		<value>/home/hadoop/hadoop-3.2.3/etc/hadoop, 					<!-- YARN应用程序的类路径配置，包括Hadoop配置文件的路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/lib/*, 	<!-- Hadoop通用库的依赖jar包路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/*, 		<!-- Hadoop通用库的路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/lib/*,		<!-- HDFS库的依赖jar包路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/*, 			<!-- HDFS库的路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/lib/*, 	<!-- MapReduce库的依赖jar包路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/*, 		<!-- MapReduce库的路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/lib/*, 		<!-- YARN库的依赖jar包路径 -->
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/* 			<!-- YARN库的路径 -->
		</value>
 	 </property>

</configuration>

http://www.kler.cn/a/374336.html

相关文章：

  • 拍拍贷鸿蒙版H5容器之路
  • 3000字帮你彻底搞懂Java抽象类与接口的区别（含JDK8接口新增三种方法与丰富案例）
  • EDA --软件开发之路
  • ApplicationListener＜ContextRefreshedEvent＞ 的使用和作用
  • Marin说PCB之电源的Surface Current Density知多少？
  • 大语言模型(LLM)快速理解
  • Chrome和夸克谁更护眼
  • OpenCV视觉分析之目标跟踪(2)卡尔曼滤波器KalmanFilter的使用
  • 【React】createContext 和 useContext
  • IDEA:ctrl+/ 快捷键生成的注释，设置“//”开始位置
  • 【机器学习】二分类神经网络
  • 摄像机实时接入分析平台LiteAIServer视频智能分析软件视频诊断中的抖动检测功能
  • 【99.9%解决】vue3+vite+typescript+vscode使用@alias路径别名配置不正确导致红色波浪线的解决办法
  • ssm026校园美食交流系统+vue(论文+源码)_kaic
  • 第三百零六节 Log4j教程 - Log4j日志级别
  • kubevirt cloud-init配置
  • 【解决方案】用git reset --hard重置了提交但是发现reset了一些本不该reset的内容，是不是寄了?
  • Android 圆形进度条CircleProgressView 基础版
  • Linux 程序地址空间
  • python读取视频并转换成gif图片
  • Python爬虫之urllib库详解
  • 【论文阅读笔记】VLP: A Survey on Vision-language Pre-training
  • 基于AI深度学习的中医针灸实训室腹针穴位智能辅助定位系统开发
  • mac-ubuntu虚拟机（扩容-共享-vmtools）
  • Oracle视频基础1.3.3练习
  • sql题库中常见问答