HDFS常用命令
常用命令说明：
-
-put和-get：- 上传和下载文件，是 HDFS 和本地文件系统交互的关键命令。
-
-rm和-mkdir：- 删除和创建文件/目录，
-rm支持递归删除。
- 删除和创建文件/目录，
-
-ls和-cat：- 文件查看操作中最常用的命令，分别用于列出文件和查看内容。
-
权限管理：
- 通过
-chmod、-chown和-chgrp命令对 HDFS 文件的权限、所有者和所属组进行管理。
- 通过
-
检查文件状态：
- 通过
-stat和-checksum命令，可以查看文件的元数据和校验和信息。
- 通过
-
磁盘使用情况：
-du是用来分析磁盘使用情况的重要命令，特别是在分布式系统中。
以下是整理后的 HDFS（Hadoop Distributed File System） 常用命令表格，涵盖文件操作、目录操作、权限管理等：
| 操作类别 | 命令 | 说明 | 示例 |
|---|---|---|---|
| 显示文件/目录 | hdfs dfs -ls /path | 列出指定目录下的文件和子目录 | hdfs dfs -ls /user/hadoop |
hdfs dfs -ls -R /path | 递归列出目录下的所有文件和子目录 | hdfs dfs -ls -R /user/hadoop | |
| 上传文件 | hdfs dfs -put local_path hdfs_path | 从本地文件系统上传文件到 HDFS | hdfs dfs -put file.txt /user/hadoop |
| 下载文件 | hdfs dfs -get hdfs_path local_path | 从 HDFS 下载文件到本地系统 | hdfs dfs -get /user/hadoop/file.txt ./ |
| 删除文件/目录 | hdfs dfs -rm /path/file | 删除 HDFS 中指定文件 | hdfs dfs -rm /user/hadoop/file.txt |
hdfs dfs -rm -r /path | 删除 HDFS 中的目录及其所有内容 | hdfs dfs -rm -r /user/hadoop | |
| 查看文件内容 | hdfs dfs -cat /path/file | 查看文件内容 | hdfs dfs -cat /user/hadoop/file.txt |
hdfs dfs -tail /path/file | 查看文件的最后部分内容 | hdfs dfs -tail /user/hadoop/file.txt | |
hdfs dfs -text /path/file | 查看文件的内容（如果是文本文件） | hdfs dfs -text /user/hadoop/file.txt | |
| 复制文件/目录 | hdfs dfs -cp /source_path /dest_path | 复制 HDFS 文件或目录 | hdfs dfs -cp /user/source/file.txt /user/dest/ |
| 移动文件/目录 | hdfs dfs -mv /source_path /dest_path | 移动或重命名 HDFS 文件或目录 | hdfs dfs -mv /user/source/file.txt /user/dest/ |
| 检查文件状态 | hdfs dfs -stat /path/file | 查看文件的状态信息（如文件大小、修改时间等） | hdfs dfs -stat /user/hadoop/file.txt |
| 创建目录 | hdfs dfs -mkdir /path | 在 HDFS 中创建新目录 | hdfs dfs -mkdir /user/hadoop/new_dir |
hdfs dfs -mkdir -p /path/subpath | 递归创建目录 | hdfs dfs -mkdir -p /user/hadoop/dir/subdir | |
| 检查文件副本 | hdfs dfs -setrep -w replication /path | 设置文件或目录的副本因子（replication）并等待完成 | hdfs dfs -setrep -w 3 /user/hadoop/file.txt |
| 查看磁盘使用情况 | hdfs dfs -du -s /path | 查看目录的磁盘使用情况（总计） | hdfs dfs -du -s /user/hadoop |
hdfs dfs -du -h /path | 以人类可读的形式显示目录的磁盘使用情况 | hdfs dfs -du -h /user/hadoop | |
| 文件权限管理 | hdfs dfs -chmod mode /path | 修改文件或目录权限，mode 是八进制权限码 | hdfs dfs -chmod 755 /user/hadoop/file.txt |
hdfs dfs -chown user:group /path | 更改文件或目录的所有者和所属组 | hdfs dfs -chown hadoop:group1 /user/hadoop/file.txt | |
hdfs dfs -chgrp group /path | 更改文件或目录的所属组 | hdfs dfs -chgrp group1 /user/hadoop/file.txt | |
| 查看文件检查点 | hdfs dfs -checksum /path/file | 查看文件的 HDFS 校验和 | hdfs dfs -checksum /user/hadoop/file.txt |
| 测试路径 | hdfs dfs -test -e /path | 测试路径是否存在，返回退出码，存在返回 0，否则返回非 0 | hdfs dfs -test -e /user/hadoop/file.txt |
hdfs dfs -test -d /path | 测试路径是否为目录 | hdfs dfs -test -d /user/hadoop/dir | |
hdfs dfs -test -f /path | 测试路径是否为文件 | hdfs dfs -test -f /user/hadoop/file.txt |