hadoop集群环境搭建和常用命令
搭建过程
1.集群配置
cat /etc/hosts
2.步骤安装 Java是否安装
which java 或者 echo $JAVA_HOME
3.解压安装包
tar -zxvf
4.修改配置文件
cd $HADOOP_HOME/etc/hadoop/
下面是需要修改的配置文件
hadoop-env.sh
yarn-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml
yarn-site.xml
5.配置环境变量(面试点！ 两种修改配置的命令有什么区别)
vim ~./bashrc 用户级别的
vim /etc/profile 全局生效的
6.刷新环境变量
source ~./bashrc
master环境变量拷贝到 slave1中，同时master和slave之间要进行两两免密登录（最好配置用户级别的）
scp -rp ~./bashrc root@slave1:/root/.bashrc
scp -rp ~./bashrc root@slave2:/root/.bashrc
7.拷贝安装包
8.集群启动
#初始化NameNode
hadoop namenode -format
#启动/停止
sh $HADOOP_HOME/sbin/start-all.sh
sh $HADOOP_HOME/sbin/stop-all.sh
9.验证
jps
常用命令
-
查看根目录 hadoop fs -ls /
-
创建多级文件夹 hadoop fs -mkdir -p /bd_29/aa/bb
-
查看文件路径 pwd
-
创建文件 touch
-
查看历史输入命令 history
-
删除全部已有命令 ctrl + u
-
快速回到第一个位置 Ctrl + a
-
关闭安全模式 hadoop dfsadmin -safemode leave
-
查看硬盘空间 df -h
查看文件大小 du -sh * ： 查看各个文件的大小
-
上传文件 hadoop fs -put 当前文件路径 目标文件路径
-
查看文件内容 hadoop fs -cat(text/tail) b.txt
查看文件内容前十行 hadoop fs -cat b.txt | head -10
查看文件大小 hadoop fs -du -s -h /test/a.txt
查看内容行数 hadoop fs -cat /b.txt | wc -l
查看文件个数 hadoop fs -ls /b.txt | wc -l
-
查看最近被修改的文件 ll -rt
-
查看隐藏的目录或者文件 ls -la
-
-rm -rf 使用之前先pwd ，删除必须指定文件名
-
:q! 强制退出
history 查看历史命令 history | grep move
-
vim中的常用命令
:set number 显示行号
:/HADOOP 查找关键字 HADOOP
gg 快速回到文件开始
shift + g 快速回到文件末尾
%s/ a /b / g 将 a 替换成 b
g+d 高亮单词
-
查看内容行数 hadoop fs -cat(text/tail) /bd_29/b.txt | wc -l
-
查看文件数量 hadoop fs -ls /bd_29/b.txt | wc -l
-
下载文件 hadoop fs -get /bd_29/b.txt .
-
删除文件放入回收站 hadoop fs -rmr /bd_29/