当前位置: 首页 > article >正文

hadoop分布式文件系统常用命令

前言

搭建完hadoop后,会生成一个hdfs的分布式文件系统。HDFS是一个逻辑上的文件系统,它存储在Hadoop集群的多个节点上,而不是单个机器的本地磁盘上。

常用命令

# 创建目录,-p参数可以创建所有必需的父目录(按照层级)
hdfs dfs -mkdir -p /user/tmp
# 删除制定目录,-r参数用于递归删除目录及其内容
hdfs dfs -rm -r /user/
# 复制目录或者文件
hdfs dfs -cp /user/tmp/ /home/tmp/
# 移动目录或者文件
hdfs dfs -mv /user/tmp/ /home/tmp/
# 列出根目录下的所有内容,文件权限、所有者、大小等信息
hdfs dfs -ls /
# 更改文件权限
hdfs dfs -chmod 777 /user/tmp
# 创建一个文件
hdfs dfs -touchz tmp

​ 以上所有命令操作,都不会影响Linux本地文件系统里的文件,因为它是基于hdfs分布式文件系统进行的,相当于基于Linux磁盘存储又虚拟了一套逻辑存储系统,和Linux 本地文件系统是完全相互独立的。

和Linux 本地文件系统区别

1 完全独立的两套文件系统,各自系统创建文件完全独立,互不影响

2 访问方式不同,(访问命令类似)

3 权限和安全性:HDFS的权限模型与本地文件系统类似,但它们是独立的。在HDFS中设置的权限不会影响本地文件系统的权限,反之亦然。

经验总结

1 这些知识在大数据学习中应该算是基础中的基础了,理解不了这些,在部署大数据相关组件时,会遇到非常大的坑;

2 区别记住一句话,相互独立,命令相似;


http://www.kler.cn/a/399554.html

相关文章:

  • ssm118亿互游在线平台设计与开发+vue(论文+源码)_kaic
  • Flutter 新建工程一直等待 解决办法
  • ajax异步请求和嵌套 iframe 资源访问的区别
  • 计算机组成原理笔记----基础篇
  • 【Qualcomm 】CDSP介绍以及简单的使用
  • 探索Python的HTTP利器:Requests库的神秘面纱
  • 基于YOLOv8深度学习的汽车车身车损检测系统研究与实现(PyQt5界面+数据集+训练代码)
  • 如何在Mysql中生成0-23完整的小时数据
  • Docker:查看镜像里的文件
  • 【Android】Android滑动冲突解决方案
  • Android 13 实现屏幕熄屏一段时候后关闭 Wi-Fi 和清空多任务列表
  • UnoCss 安装
  • 【前端知识】Vue组件Vuex详细介绍
  • Ceph层次架构分析
  • 【日志】力扣11.盛水最多的容器
  • git配置用户信息
  • 使用Aria2实现离线下载
  • 【策略模式】最佳实践——Spring IoC实现策略模式全流程深度解析
  • Java——并发工具类库线程安全问题
  • 【LeetCode热题100】字符串