当前位置: 首页 > article >正文

hadoop第3课(hdfs shell)

一.基本操作命令

显示目录下的文件列表命令:-ls

hadoop fs -ls /

创建文件夹命令:-mkdir

hadoop fs -mkdir  /test

上传文件命令:-put或-copyFromLocal

hadoop fs -put words.log  /test

查看文件内容命令:-cat或-tail或-text

hadoop fs -cat /test/words.log

注意:对于压缩文件只能用 text 命令来查看文件内容,否则文件内容显示乱码。

文件复制命令:-get或-copyToLocal

hadoop fs -get /test/words.log /home/hadoop/app/hadoop/data

注意:本地目录需要提前创建。

删除文件命令:-rm

hadoop fs -rm /test/words.log

删除文件夹命令:-rm -r

Hadoop fs -rm -r  /test

二.管理员操作命令

返回HDFS集群的状态信息

hdfs dfsadmin -report

保存HDFS集群相关节点信息

hdfs dfsadmin -metasave metasave.tt

备注:metasave.tt文件保存在{hadoop.log.dir}目录下,该目录默认是hadoop安装目录的logs目录。

从namenode获取最新的fsimage文件

hdfs dfsadmin -fetchImage ~

打印集群网络拓扑

hdfs dfsadmin -printTopology

备注:因为当前Hadoop是伪分布集群,所以默认只有一个机架default-rack,机架下面只有一个节点hadoop1。

刷新集群节点信息

hdfs dfsadmin -refreshNodes 

三.安全模式命令

介绍:

        安全模式(safemode)是Hadoop的一种保护机制,用于保证集群中数据块的安全性。当启动NameNode服务时就会启动safemode,在该模式下,NameNode会等待DataNode向它发送块报告。只有当NameNode接收到的块数量(datanodes  blocks)和实际的块数量(total blocks)接近一致时,即满足datanodes blocks/total blocks >= 99.9% 这个阀值,NameNode就会退出安全模式。

 查看安全模式状态

hdfs dfsadmin -safemode get

进入安全模式

hdfs dfsadmin -safemode enter

备注:在NameNode安全模式下,不允许用户对HDFS中的文件或者文件夹进行增删改操作。

退出安全模式

hdfs dfsadmin -safemode leave


http://www.kler.cn/a/583892.html

相关文章:

  • 麒麟系统如何安装Anaconda
  • Day15:二叉树的后续遍历序列
  • C#中类‌的核心定义
  • 【存储中间件】Redis核心技术与实战(一):Redis入门与应用(常用数据结构:字符串String、哈希Hash、列表List)
  • LLM:了解大语言模型
  • OBS推WebRTC流,并添加毫秒级时间显示
  • K8S中的etcd数据库备份与恢复
  • 树莓百度百科更新!宜宾园区新业务板块全解析
  • 建筑兔零基础自学记录45|获取高德/百度POI-1
  • AI理论基础
  • 重生之我在学Vue--第12天 Vue 3 性能优化实战指南
  • SpaceSync智能排班:重构未来办公空间的神经中枢
  • 聚划算!三个模型对比预测!CNN-GRU、GRU、CNN三模型多变量时序光伏功率预测
  • 基于boss直聘的招聘数据可视化分析平台-Flask+html
  • PAT乙级(1022 D进制的A+B)C语言
  • ADC采样和存储数据之间的关系
  • 一键阐述“多线程、多进程、多任务”的场景需求
  • Deepseek Chatgpt Kimi 推荐的深度学习书单
  • OpenRewrite配方之import语句的顺序——org.openrewrite.java.OrderImports
  • Spring(一)