hadoop开发环境搭建

搭建Hadoop开发环境主要涉及以下步骤：

1. 安装Java

• Hadoop是基于Java开发的，因此需要先安装Java Development Kit（JDK）。
• 从Oracle官网（https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html）下载适合你操作系统的JDK 8版本（Hadoop 2.x及以上版本推荐使用JDK 8）。
• 安装JDK，并配置环境变量。在Windows系统中，设置JAVA_HOME变量为JDK的安装路径，例如C:\Program Files\Java\jdk1.8.0_271，并将%JAVA_HOME%\bin添加到系统的Path变量中。在Linux系统中，编辑~/.bashrc或/etc/profile文件，添加类似如下内容：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$PATH:$JAVA_HOME/bin

• 使环境变量生效，在命令行中输入java -version，检查Java是否安装成功。

2. 下载Hadoop

• 从Hadoop官方网站（https://hadoop.apache.org/releases.html）下载稳定版本的Hadoop。例如，截至2023年7月，Hadoop 3.3.4是较新的稳定版本。
• 选择适合你操作系统的二进制压缩包（如.tar.gz格式）并下载。

3. 解压Hadoop

• 将下载的Hadoop压缩包解压到你希望安装的目录。例如，在Linux系统中，可以使用以下命令解压到/usr/local目录下：

sudo tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local

• 解压后，进入Hadoop目录，例如cd /usr/local/hadoop-3.3.4。

4. 配置Hadoop环境变量

• 在Linux系统中，编辑~/.bashrc或/etc/profile文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

• 在Windows系统中，设置HADOOP_HOME变量为Hadoop的安装路径，并将%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin添加到系统的Path变量中。
• 使环境变量生效，在命令行中输入hadoop version，检查Hadoop是否配置成功。

5. 配置Hadoop文件

• 核心配置文件（core-site.xml）
  • 位于$HADOOP_HOME/etc/hadoop目录下。
  • 配置Hadoop的核心属性，如文件系统的默认名称（通常为hdfs://localhost:9000）和临时目录（用于存储临时文件）。例如：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop-${user.name}</value>
    </property>
</configuration>

• HDFS配置文件（hdfs-site.xml）
  • 配置Hadoop分布式文件系统（HDFS）的相关属性，如副本数量（默认为3）、数据块大小等。例如，将副本数量设置为1（仅用于开发环境）：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• MapReduce配置文件（mapred-site.xml）
  • 如果使用MapReduce框架，需要配置相关属性，如MapReduce作业的历史服务器地址等。可以通过复制mapred-site.xml.template文件并修改来创建mapred-site.xml文件，例如：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value