当前位置：首页 > article >正文

JAVA连接HDFS操作

article 2025/2/23 1:01:31

JAVA连接HDFS操作

一、引言

在大数据时代，Hadoop分布式文件系统（HDFS）扮演着重要的角色。对于Java开发者来说，掌握如何使用Java连接和操作HDFS是一项基本技能。本文将介绍如何通过Java代码连接HDFS，并执行一些基本的文件操作。

二、连接HDFS

1、第一步：添加依赖

要使用Java操作HDFS，首先需要在项目中添加Hadoop客户端的依赖。如果你使用的是Maven项目，可以在pom.xml文件中添加以下依赖：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.8.2</version>
</dependency>

2、第二步：创建连接

使用Hadoop的FileSystem类可以连接到HDFS。以下是创建连接的基本步骤：

Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://yournamenode:9000");
FileSystem fs = FileSystem.get(conf);

三、操作HDFS

1、文件创建

在HDFS中创建文件可以使用create方法：

Path filePath = new Path("/path/to/file");
FSDataOutputStream outputStream = fs.create(filePath);
outputStream.write("Hello HDFS".getBytes());
outputStream.close();

2、文件上传

上传本地文件到HDFS可以使用copyFromLocalFile方法：

Path localFilePath = new Path("/local/path/to/file");
Path hdfsFilePath = new Path("/path/in/hdfs");
fs.copyFromLocalFile(localFilePath, hdfsFilePath);

3、文件下载

从HDFS下载文件到本地可以使用copyToLocalFile方法：

Path hdfsFilePath = new Path("/path/in/hdfs");
Path localFilePath = new Path("/local/path/to/file");
fs.copyToLocalFile(hdfsFilePath, localFilePath);

4、文件删除

删除HDFS中的文件可以使用delete方法：

Path filePath = new Path("/path/to/file");
fs.delete(filePath, false); // false表示不递归删除

5、查看文件内容

查看HDFS中文件的内容可以使用open方法：

Path filePath = new Path("/path/to/file");
FSDataInputStream inputStream = fs.open(filePath);
IOUtils.copy(inputStream, System.out);
inputStream.close();