hadoop第3课(hdfs shell)
一.基本操作命令
显示目录下的文件列表命令:-ls
hadoop fs -ls /
创建文件夹命令:-mkdir
hadoop fs -mkdir /test
上传文件命令:-put或-copyFromLocal
hadoop fs -put words.log /test
查看文件内容命令:-cat或-tail或-text
hadoop fs -cat /test/words.log
注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。
文件复制命令:-get或-copyToLocal
hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data
注意:本地目录需要提前创建。
删除文件命令:-rm
hadoop fs -rm /test/words.log
删除文件夹命令:-rm -r
Hadoop fs -rm -r /test
二.管理员操作命令
返回HDFS集群的状态信息
hdfs dfsadmin -report
保存HDFS集群相关节点信息
hdfs dfsadmin -metasave metasave.tt
备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。
从namenode获取最新的fsimage文件
hdfs dfsadmin -fetchImage ~
打印集群网络拓扑
hdfs dfsadmin -printTopology
备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。
刷新集群节点信息
hdfs dfsadmin -refreshNodes
三.安全模式命令
介绍:
安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。
查看安全模式状态
hdfs dfsadmin -safemode get
进入安全模式
hdfs dfsadmin -safemode enter
备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。
退出安全模式
hdfs dfsadmin -safemode leave