当前位置：首页 > article >正文

基于伪分布式模式部署Hadoop集群

article 2025/1/7 16:59:28

1.上传Hadoop安装包

在/export/software目录下使用rz命令上传Hadoop安装包

2.创建目录

在/export/servers目录下创建wfb-hadoop目录，用于存放Hadoop的安装目录，命令如下：

mkdir -p /export/servers/wfb-hadoop

3.安装Hadoop

1)将Hadoop安装到/export/servers/wfb-hadoop目录，命令如下：

tar -zxvf /export/software/Hadoop-3.3.4.tar.gz -C /export/servers/wfb-hadoop

2)安装完成之后，进入到安装目录/export/servers/wfb-hadoop/Hadoop-3.3.4,并执行ll命令查看Hadoop安装目录中的所有文件

4.验证Hadoop是否安装成功

在安装目录执行bin/Hadoop version命令查看Hadoop版本号，来验证是否安装成功

5.修改Hadoop配置文件

进入安装目录下的/etc/hadoop目录

1）使用vi Hadoop-env.sh命令进行编辑，在该文件中添加如下内容：

        export JAVA_HOME=/export/servers/jdk1.8.0_171

        export HDFS_NAMENODE_USER=root

        export HDFS_DATANODE_USER=root

        export HDFS_SECONDARYNAMENODE_USER=root

        export YARN_RESOURCEMANAGER_USER=root

        export YARN_NODEMANAGER_USER=root

2）执行vi core-site.xml命令进行编辑，在<configuration>标签中添加如下内容：

<property>

                <name>fs.defaultFS</name>

                <value>hdfs://hadoop1:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/export/data/hadoop-wfb-3.3.4</value>

        </property>

        <property>

                <name>hadoop.http.staticuser.user</name>

                <value>root</value>

        </property>

        <property>

                <name>hadoop.proxyuser.root.hosts</name>

                <value>*</value>

        </property>

        <property>

                <name>hadoop.proxyuser.root.groups</name>

                <value>*</value>

        </property>

        <property>

                <name>fs.trash.interval</name>

                <value>1440</value>

        </property>

3）执行vi hdfs-site.xml命令进行编辑，在文件的<configuration>标签中添加如下内容：

<property>

      <name>dfs.replication</name>

      <value>1</value>

</property>

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>hadoop1:9868</value>
</property>

4）执行vi mapred-site.xml命令进行编辑，在文件的<configuration>标签中添加如下内容：

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop1:10020</value>

</property>

<property>

                <name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop1:19888</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

                <value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.4</value>

</property>

<property>

<name>marpreduce.map.env</name>

                <value>HADOOP_MAPRED_HOME=/export/servers/wfb_hadoop/hadoop-3.3.4</value>

        </property>

<property>

<name>mapreduce.reduce.env</name>

                <value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.4</value>
</property>

5）执行vi yarn-site.xml命令进行编辑，在文件的<configuration>标签中添加如下内容：

<property>

<name>yarn.resorcemanager.hostname</name>

<value>hadoop1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

<name>yarn.log.server.url</name>

<value>http://hadoop1:19888/jobhistory/logs</value>

</property>

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>