Hadoop分布式集群安装部署（Redhat 6.4 64位操作系统）
一、配置自动时钟同步
（管理节点：namenode）
1.查看是否安装了NTP：
# rpm -q ntp
ntp-4.2.4p8-2.el6.x86_64 // 这表示已安装了，如果没有安装，这是空白。
2.开启ntp的自启命令：
# chkconfig ntpd on
3.配置NTP的配置文件：
#vi /etc/ntp.conf
添加内容：
#表示同步的服务器（把现有的3个服务器注释掉）
server 192.168.222.100
保存退出，重启ntp服务。
service ntpd restart
查看状态：
# ntpq -p
出现以下信息表示配置成功。（注意：本机的ip为192.168.222.100）。
（计算节点：slave）
ntp服务自启设置：
# chkconfig ntpd on
配置文件内容为：
# 配置时间服务器为本地的时间服务器
server 192.168.222.100
保存退出。
3.重启ntp服务：
service ntpd restart
4.查看状态：
# ntpq -p
出现以下信息表示配置成功。
二、配置主机名
（管理节点）
使用 vi 编辑器进行编辑文件：
#vi /etc/sysconfig/network
配置信息如下，如果已经存在则不修改，将 HadoopMaster 节点的主机名改为 master，即下面代码的第 2 行所示。
NETWORKING=yes #启动网络
HOSTNAME=master #主机名
使修改信息生效命令：
# hostname master
检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：
# hostname
（计算节点）
使用 vi编辑主机名：
# vi /etc/sysconfig/network
配置信息如下，如果已经存在则不修改，将 Hadoopslave 节点的主机名改为 slave，即下面代码的第 2 行所示。
NETWORKING=yes #启动网络
HOSTNAME=slave #主机名
使修改信息生效命令：
# hostname slave
检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：
# hostname
三、配置网络环境
通过图形化界面进行配置网络。
在linux界面右上角网络链接图标上点击右键，然后选择“Edit Connections”
点击有线网络（可能名称不一样），然后选择“Edit”
选择“IPv4 Setting”，Method选择“Manual”，并配置如图信息，
然后点击“Apply”，点击“close”关闭对话框。打开命令行，重启网络，命令为：
# service network restart
Ip地址与配置的IP一样，则说明网络配置成功。
配置VMWare网络模式，虚拟机中点击“编辑”--->“虚拟网络编辑器”，删除其他网络模式，只保留NAT模式，如下图，
配置虚拟机网络模式，
选中要配置的虚拟机，然后点击右键--->设置--->网络适配器--->“自定义（U）：特定虚拟网络”--->VMnet*(NAT)模式--->确定
验证网络，
通过XShell远程登录工具，进行登录该虚拟机，
输入用户名“root”和密码，登录成功，则说明网络配置完成。
计算节点slave的网络配置与管理节点master一样，只是将Ip地址配置为：192.168.222.101。
四、关闭防火墙
临时关闭防火墙
#service iptables stop
永久关闭防火墙：
# chkconfig iptables off
五、配置 hosts 列表
需要在 root 用户下，编辑主机名列表的命令：
# vi /etc/hosts
将下面两行添加到/etc/hosts 文件中：
这里 master 节点对应 IP 地址是 192.168.222.100，slave 对应的 IP 是 192.168.222.100，而自己在做配置时，需要将这两个 IP 地址改为你的 master 和 slave 对应的 IP 地址。
验证是否配置成功的命令是：
#ping master
#ping slave
如果出现下图的信息表示配置成功：
六、验证免密钥登陆
在master 节点上，
在终端生成密钥，命令如下（一路点击回车生成密钥）
#ssh-keygen -t rsa
生成的密钥在.ssh 目录下如下图所示：
复制公钥文件：
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
执行 ls -l 命令后会看到下图的文件列表：
将 authorized_keys 文件复制到 slave 节点，命令如下：
#scp ~/.ssh/authorized_keys zkpk@slave:~/
Slave节点：
在终端生成密钥，命令如下（一路点击回车生成密钥）
#ssh-keygen -t rsa
将 authorized_keys 文件移动到.ssh 目录
#mv authorized_keys ~/.ssh/
验证免密钥登陆
在 master 机器上执行下面的命令：
ssh slave
如果出现下图的内容表示免密钥配置成功：
七、安装 JDK
首先将JDK安装包上传到虚拟机上，然后更改权限
#chmod 777 jdk-7u25-linux-x64.tar.gz
解压缩软件包：
# tar -zxvf jdk-7u25-linux-x64.tar.gz
重命名jdk安装包：
# mv jdk1.7.0_25 jdk
配置环境变量：
# vi /etc/profile
验证是否安装成功：
八、Hadoop安装
更改权限：
#chmod 777 hadoop-2.5.2.tar.gz
解压安装包：
#tar -zxvf hadoop-2.5.2.tar.gz
重命名安装包：
# mv hadoop-2.5.2 hadoop
配置java运行环境：
# vi hadoop/etc/hadoop/hadoop-env.sh
找到
更该为：
配置环境变量 yarn-env.sh
# vi hadoop/etc/hadoop/yarn-env.sh
在文件的靠前的部分找到下面的一行代码：
将第二行代码修改为下面的代码（将#号去掉）：
更改为：
配置核心组件 core-site.xml
#vi hadoop/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoopdata</value>
</property>
</configuration>
配置文件系统 hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoopdata/dfs/data</value>
</property>
</configuration>
配置文件系统 yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration>
配置计算框架 mapred-site.xml
#cp hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml
#vi hadoop/etc/hadoop/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
在 master 节点配置 slaves 文件
# vi hadoop/etc/hadoop/slaves
复制到从节点
使用下面的命令将已经配置完成的 Hadoop 复制到从节点 Slave 上(大概2-3分钟)：
#scp -r /home/software/hadoop root@slave:/home/software/
配置 Hadoop 启动的系统环境变量
# vi /etc/profile
使配置信息生效：
# source /etc/profile
创建数据目录
(两个节点上都要创建)
# mkdir /home/hadoopdata
# mkdir /home/hadoopdata/dfs
# mkdir /home/hadoopdata/dfs/data
# mkdir /home/hadoopdata/dfs/name
格式化文件系统:
# hdfs namenode -format
看到下图的打印信息表示格式化成功，如果出现 Exception/Error，则表示出问题：
启动 Hadoop
#/start-all.sh
查看进程是否启动：在 HadoopMaster 的终端执行 jps 命令，在打印结果中会看到 4 个进程，分别是 ResourceManager、Jps、 NameNode 和 SecondaryNameNode，如下图所示。如果出现了这 4 个进程表示主节点进程启动成功。
在 HadoopSlave 的终端执行 jps 命令，在打印结果中会看到 3 个进程，分别是 NodeManager、DataNode 和 Jps，如下图所示。如果出现了这 3 个进程表示从节点进程启动成功。
Web UI 查看集群是否成功启动
在 HadoopMaster 上启动 Firefox 浏览器，在浏览器地址栏中输入输入http://192.168.222.100:50070/，检查namenode 和 datanode 是否正常。UI 页面如下图所示。
运行 PI 实例检查集群是否成功
进入 Hadoop 安装主目录，执行下面的命令：
# cd /home/software/hadoop/share/hadoop/mapreduce/
# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 10 10
会看到如下的执行结果：
最后输出：
Estimated value of Pi is 3.20000000000000000000 ，如果以上的 3 个验证步骤都没有问题，说明集群正常启动。