Hadoop FileSystem Shell 常用操作命令

提示：本文章只总结一下常用的哈，详细的命令大家可以移步官方的文档（链接贴在下面了哈🤣）— HDFS官方命令手册链接。

1. cat 命令：查看 HDFS 文件内容

类似于 Linux 中的 cat 命令，将文件的内容输出到标准输出（通常是终端）。

hadoop fs -cat <hdfs_path>

• <hdfs_path>：要查看的文件在 HDFS 中的路径。

hadoop fs -cat /user/hadoop/gushi.txt

《淮上与友人别》- 郑谷 唐

扬子江头杨柳春，杨花愁杀渡江人。
数声风笛离亭晚，君向潇湘我向秦。

君向潇湘我向秦，这首诗太浪漫了 列位🤣🤣🤣

Tips:

• cat 命令只适合查看小文件的内容哈。文件过大，建议配合 head 或 tail，只查看文件的前几行或最后几行。
• 如果文件不存在，报错：

  File /user/hadoop/file.txt does not exist
  

hadoop fs -cat URI [URI …]

也可以使用URL哈~

1. 查看单个文件内容

   hadoop fs -cat hdfs://host1:port1/file1
   

2. 查看多个文件内容

   hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
   

3. 查看本地文件和 HDFS 文件

   hadoop fs -cat file:///file3 /user/hadoop/file4
   

   同时输出本地文件 file3 和 HDFS 文件 file4 的内容。

2. put 命令：将本地文件上传到 HDFS

hadoop fs -put 命令将本地文件或目录上传到HDFS。

hadoop fs -put <local_path> <hdfs_path>

• <local_path>：要上传的本地文件或目录的路径。
• <hdfs_path>：目标 HDFS 目录的路径。

1. 上传单个文件

   hadoop fs -put localfile /user/hadoop/hadoopfile
   

   将本地的 localfile 上传到 HDFS 的 /user/hadoop/hadoopfile 路径下。

2. 上传多个文件

   hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
   

   将 localfile1 和 localfile2 同时上传到 HDFS 的 /user/hadoop/hadoopdir 目录下。

3. 使用 HDFS URI

   hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
   

   这条命令通过指定 HDFS URI，将 localfile 上传到指定的 HDFS 路径。

4. 从标准输入上传

   hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
   

   使用 - 表示从标准输入读取数据并上传到 HDFS 的指定路径。通常用于管道操作。

hadoop fs -put  /home/yushifu/hongloumeng.txt  /user/hadoop/

ls 命令查看 HDFS 中的文件：

hadoop fs -ls /user/hadoop/

Found 1 items
-rw-r--r--   3 hadoop supergroup      28 2024-09-26 12:00 /user/hadoop/hongloumeng.txt

cat 命令：

hadoop fs -cat /user/hadoop/hongloumeng.txt

     好了歌 曹雪芹 清
世人都晓神仙好，惟有功名忘不了！
古今将相在何方？荒冢一堆草没了。
世人都晓神仙好，只有金银忘不了！
终朝只恨聚无多，及到多时眼闭了。
世人都晓神仙好，只有娇妻忘不了！
君生日日说恩情，君死又随人去了。
世人都晓神仙好，只有儿孙忘不了！
痴心父母古来多，孝顺儿孙谁见了？

终朝只恨聚无多，及到多时眼闭了(感触颇深呀)

Tips：

• -p：保留文件的原属性（如权限、时间戳等）。

  hadoop fs -put -p /home/yushifu/hongloumeng.txt   /user/hadoop/
  

• -f：强制覆盖已有文件。

  hadoop fs -put -f /home/yushifu/hongloumeng.txt   /user/hadoop/
  

3. get 命令：从HDFS下载文件到本地

hadoop fs -get <hdfs_path> <local_path>

• <hdfs_path>：要下载的 HDFS 文件的路径。
• <local_path>：下载后保存到本地文件系统的路径。

1. 下载单个文件

将HDFS 文件 /user/hadoop/gushi.txt 下载到本地 /home/user/：

hadoop fs -get /user/hadoop/gushi.txt /home/user/

2. 下载整个目录

下载 HDFS 中的目录（ /user/hadoop/）：

hadoop fs -get /user/hadoop/my_directory/ /home/user/

• -p：保留文件的原属性（如权限、时间戳等）。

  hadoop fs -get -p /user/hadoop/example.txt /home/user/
  

• -f：如果目标位置已经存在同名文件，则强制覆盖。

  hadoop fs -get -f /user/hadoop/example.txt /home/user/
  

hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>

• 从 HDFS 将文件复制到本地文件系统。

• 可选参数允许处理 CRC 校验。

• -ignorecrc：复制 CRC 校验失败的文件。

• -crc：同时复制文件及其 CRC 信息。

1. 从 HDFS 复制文件到本地

   hadoop fs -get /user/hadoop/file localfile
   

   将 HDFS 中的 /user/hadoop/file 复制到当前目录下的 localfile。

2. 使用 HDFS URI

   hadoop fs -get hdfs://host:port/user/hadoop/file localfile
   

   指定 HDFS URI，将文件复制到本地的 localfile。

4. chmod 命令：更改 HDFS中文件和目录的权限

hadoop fs -chmod <mode> <path>

• <mode>：权限设置，可以使用符号模式或八进制模式。
• <path>：要更改权限的文件或目录的 HDFS 路径。

权限类型：

• 读 (r)：允许读取文件或列出目录内容。
• 写 (w)：允许修改文件或创建、删除目录中的文件。
• 执行 (x)：允许进入目录。

权限分为三种用户：

• 所有者 (u)：文件或目录的创建者。
• 组 (g)：与所有者同属一个组的用户。
• 其他 (o)：系统中所有其他用户。

1. 给文件添加读权限

   hadoop fs -chmod +r /path/to/file
   

2. 去掉组的写权限

   hadoop fs -chmod g-w /path/to/file
   

八进制模式：

• 只读：4（r--）
• 只写：2（-w-）
• 只执行：1（--x）
• 读+写：4 + 2 = 6（rw-）
• 读+执行：4 + 1 = 5（r-x）
• 写+执行：2 + 1 = 3（-wx）
• 读+写+执行：4 + 2 + 1 = 7（rwx）

八进制权限通常由三个数字组成，分别表示：

1. 所有者（user）
2. 组（group）
3. 其他用户（other）

eg.

• 755 的意思是：
  • 所有者：7（rwx，可读、可写、可执行）
  • 组：5（r-x，可读、可执行）
  • 其他用户：5（r-x，可读、可执行）

1. 设置权限为 644

   hadoop fs -chmod 644 /path/to/file
   

   这里：

   • 所有者有读、写权限（rw-，值 6）
   • 组有读权限（r--，值 4）
   • 其他用户有读权限（r--，值 4）

2. 设置权限为 770

   hadoop fs -chmod 770 /path/to/directory
   

   • 所有者有读、写、执行权限（rwx，值 7）
   • 组有读、写、执行权限（rwx，值 7）
   • 其他用户没有任何权限（---，值 0）

5. chown 命令：更改 HDFS中文件或目录的所有者和所属组

执行 chown 命令的用户必须有足够的权限才能修改文件或目录的所有者和组，通常只有超级用户（如 HDFS 的管理员）能够更改其他用户的所有权。

hadoop fs -chown <owner>:<group> <path>

• <owner>：要设置的新所有者用户名。
• <group>：要设置的新所属组名（可选）。
• <path>：要更改所有者和组的文件或目录的 HDFS 路径。

1. 更改文件所有者

   hadoop fs -chown newuser /path/to/file
   

   将 /path/to/file 的所有者更改为 newuser，组保持不变。

2. 更改文件所有者和组

   hadoop fs -chown newuser:newgroup /path/to/file
   

   将 /path/to/file 的所有者更改为 newuser，并将所属组更改为 newgroup。

3. 更改目录的所有者及组

   hadoop fs -chown newuser:newgroup /path/to/directory
   

4. 递归更改目录及其内容的所有者和组

   hadoop fs -chown -R newuser:newgroup /path/to/directory
   

   -R 选项可以递归地更改指定目录及其所有子目录和文件的所有者和组。

6. cp 命令：将文件或目录从一个位置复制到另一个位置

hadoop fs -cp [options] <source> <destination>

• <source>：要复制的文件或目录的路径。
• <destination>：复制到的目标路径。

option：

• -f：强制覆盖目标文件，如果目标文件已存在，则不提示。
• -p：保留源文件的权限、时间戳和所有者信息。
• -R：递归复制，适用于目录（文件夹）及其所有内容。

1. 复制单个文件

   hadoop fs -cp /path/to/source/file.txt /path/to/destination/
   

2. 复制多个文件

   hadoop fs -cp /path/to/source/file1.txt /path/to/source/file2.txt /path/to/destination/
   

3. 递归复制目录

   hadoop fs -cp -R /path/to/source/directory /path/to/destination/
   

4. 强制覆盖目标文件

   hadoop fs -cp -f /path/to/source/file.txt /path/to/destination/file.txt
   

5. 保留文件属性

   hadoop fs -cp -p /path/to/source/file.txt /path/to/destination/
   

• 确保源路径和目标路径都是有效的 HDFS 路径。如果路径不正确，命令将返回错误。

7. du 命令：显示指定目录中所有文件和子目录的大小

hadoop fs -du URI [URI …]

如果只指定一个文件，则显示该文件的大小。

1. 查看目录大小

   hadoop fs -du /user/hadoop/dir1
   

   1024  /user/hadoop/dir1/file1.txt
   2048  /user/hadoop/dir1/file2.txt
   3072  /user/hadoop/dir1/subdir
   

2. 查看多个路径

   hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1
   

3. 使用 HDFS URI

   hadoop fs -du hdfs://host:port/user/hadoop/dir1
   

   通过 HDFS URI 来显示目录的大小。

8. dus 命令：显示指定文件或目录的总大小

hadoop fs -dus <args>

• dus命令更关注总大小，而不是逐个列出每个文件。

1. 查看单个目录的总大小

   hadoop fs -dus /user/hadoop/dir1
   

   6144  /user/hadoop/dir1
   

2. 查看文件的大小

   hadoop fs -dus /user/hadoop/file1
   

   1024  /user/hadoop/file1
   

3. 使用 HDFS URI

   hadoop fs -dus hdfs://host:port/user/hadoop/dir1
   

   通过 HDFS URI 来获取目录的总大小。

9. ls 命令：列出 HDFS 中指定路径的文件或目录信息

hadoop fs -ls <args>

• 列出 HDFS 中指定路径的文件或目录信息。

• 文件：文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID

• 目录：目录名 <dir> 修改日期 修改时间 权限 用户ID 组ID

hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile

• 列出指定路径的文件和目录信息。
• /user/hadoop/file1 和 /user/hadoop/file2 是要检查的文件。
• hdfs://host:port/user/hadoop/dir1 是要检查的目录。
• /nonexistentfile 用于检查不存在的文件。

-rw-r--r--    3 1024 2024-09-25 10:00 /user/hadoop/file1
-rw-r--r--    1 2048 2024-09-25 10:05 /user/hadoop/file2
drwxr-xr-x    -    0 2024-09-24 09:30 /user/hadoop/dir1

• 第一行表示 file1 的信息，包括权限、复制数、大小、修改日期和时间等。
• 第二行表示 file2 的信息。
• 第三行表示 dir1 是一个目录。

10.lsr 命令：列出 HDFS 中指定路径的所有文件和目录，递归遍历子目录

hadoop fs -lsr <args>

• 列出 HDFS 中指定路径的所有文件和目录，递归遍历子目录。

drwxr-xr-x    -    0 2024-09-24 09:30 /user/hadoop/dir1
-rw-r--r--    3 1024 2024-09-25 10:00 /user/hadoop/file1
drwxr-xr-x    -    0 2024-09-24 09:32 /user/hadoop/dir1/subdir1
-rw-r--r--    1 2048 2024-09-25 10:05 /user/hadoop/file2

• 显示 /user/hadoop 及其子目录 dir1 和 subdir1 的所有文件和目录。

11.mkdir 命令：创建一个或多个目录，支持创建多级父目录

hadoop fs -mkdir <paths>

• 创建一个或多个目录，支持创建多级父目录。

hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

mkdir: `/user/hadoop/dir1': Created
mkdir: `/user/hadoop/dir2': Created
mkdir: `hdfs://host1:port1/user/hadoop/dir': Created
mkdir: `hdfs://host2:port2/user/hadoop/dir': Created

• 每一行表示成功创建的目录。

12.rm命令：删除指定的文件或文件列表

hadoop fs -rm <path1> [<path2> ...]

hadoop fs -rm /user/hadoop/file1 /user/hadoop/file2

• 删除操作是不可逆的，请确保在执行命令之前备份重要数据。
• 使用 -f 选项可以强制删除文件而不提示确认。

  hadoop fs -rm -f /user/hadoop/file1
  

当然可以！以下是关于 hadoop fs -tail 和 hadoop fs -head 命令的详细讲解：

13.tail：查看文件的最后部分内容

• 默认情况下是最后 1 KB

hadoop fs -tail <path>

eg.：

hadoop fs -tail /user/hadoop/file.txt

Last few lines of the file...
Line 98: Error occurred at ...
Line 99: Processing complete.

14.head：查看文件的开头部分内容

• 默认情况下是前 1 KB。

hadoop fs -head <path>

eg.

hadoop fs -head /user/hadoop/file.txt

First few lines of the file...
Line 1: Starting process...
Line 2: Initialization complete.

15.mv命令：移动文件或目录，或重命名文件

hadoop fs -mv <source> <destination>

1. 移动文件

   hadoop fs -mv /user/hadoop/file.txt /user/hadoop/backup/file.txt
   

2. 重命名文件

   hadoop fs -mv /user/hadoop/oldname.txt /user/hadoop/newname.txt
   

3. 移动目录

   hadoop fs -mv /user/hadoop/dir1 /user/hadoop/archive/dir1
   

整理不易，一键三连呀列位看官老爷们~万福金安！🤣🤣🤣