当前位置：首页 > article >正文

hadoop_mapred-site.xml

article 2024/11/5 13:41:51

hadoop3.2.3的高可用集群mapred-site.xml配置实例

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

	<property>
		<!-- 设置MapReduce作业使用的框架名称为YARN -->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
　　</property>

	<property>
		<!-- 设置Map任务的最大内存使用量，单位为MB -->
		<name>mapreduce.map.memory.mb</name>
		<value>9216</value>
	</property>
	
	<property>
		<!-- 设置Reduce任务的最大内存使用量，单位为MB -->
		<name>mapreduce.reduce.memory.mb</name>
		<value>18432</value>
	</property>
	
	<property>
		<!-- 设置Map任务的Java虚拟机选项，此处设置最大堆大小为4096MB -->
		<name>mapreduce.map.java.opts</name>
		<value>-Xmx4096m</value>
    </property>
	
    <property>
		<!-- 配置Reduce任务的Java虚拟机参数，设置最大堆内存为12288MB -->
		<name>mapreduce.reduce.java.opts</name>
		<value>-Xmx12288m</value>
    </property>

	<property>
		<!-- 指定MapReduce作业历史服务器的通信地址 -->
		<name>mapreduce.jobhistory.address</name>
		<value>datanode-7:10020</value>
	</property>
	
	<property>
		<!-- 设置MapReduce作业历史服务器的Web应用程序地址 -->
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>datanode-7:19888</value>
	</property>
	
	<property>
		<!-- 配置第三方框架使用YARN的日志聚集功能时的日志服务器URL -->
		<name>yarn.log.server.url</name>         
		<value>http://datanode-7:19888/jobhistory/logs</value> 
	</property>
	
	<property>
		<!-- 设置MapReduce应用程序主（Application Master）的环境变量 -->
		<name>yarn.app.mapreduce.am.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
   	 </property>
	 
   	 <property>
		<!-- 设置Map任务的环境变量 -->
		<name>mapreduce.map.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
   	<property>
		<!-- 设置Reduce任务的环境变量 -->
		<name>mapreduce.reduce.env</name>
		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
	
	<property>
		<!-- 配置MapReduce应用程序的类路径，包含Hadoop的各种库和依赖 -->
		<name>mapreduce.application.classpath</name>
		<value>/home/hadoop/hadoop-3.2.3/etc/hadoop,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/common/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/hdfs/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/lib/*,
			   /home/hadoop/hadoop-3.2.3/share/hadoop/yarn/*
	   </value>
 	</property>

</configuration>