当前位置：首页 > article >正文

HDFS应用-后端存储cephfs-java-API

article 2025/2/21 18:21:32

HDFS（Hadoop Distribute FileSystem）是一个适合运行在通用硬件之上，具备高度容错特性，支持高吞吐量数据访问的分布式文件系统，非常适合大规模数据集应用。
HDFS适用于如下场景：
• 处理海量数据（TB或PB级别以上）
• 需要很高的吞吐量
• 需要高可靠性
• 需要很好的可扩展能力

HDFS开发接口简介
HDFS常用概念
• Client
HDFS Client主要包括五种方式：JAVA API、C API、Shell、HTTP REST API、WEB UI五种方式，可参考常用API介绍、HDFS Shell命令介绍。
o JAVA API
提供HDFS文件系统的应用接口，本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。
o C API
提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口的描述进行应用开发。
o Shell
提供shell命令完成HDFS文件系统的基本操作。
o HTTP REST API
提供除Shell、Java API和C API以外的其他接口，可通过此接口监控HDFS状态等信息。
o WEB UI
提供Web可视化组件管理界面。

JAVA API
HDFS支持使用Java语言进行程序开发，具体的API接口内容请参考HDFS Java API接口介绍。

1.安装ceph依赖

yum install ceph-common
yum install librgw-devel librados-devel libradosstripe-devel
yum install cephfs-java libcephfs-devel python-cephfs libcephfs_jni-devel

新建文件夹/usr/lib/jni/

mkdir /usr/lib/jni/

将/usr/lib64/关于ceph的文件和 libcephfs_jni对象共享文件拷贝到/usr/lib/jni/

cd /usr/lib64/
cp -rf  ceph libcephfs_jni.so libcephfs_jni.so.1 libcephfs_jni.so.1.0.0 libcephfs.so libcephfs.so.2 libcephfs.so.2.0.0 /usr/lib/jni/

2.java基础环境

java环境配置

export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
java -version

3.应用开发

maven依赖

<!-- hadoop start  -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.3.4</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-reload4j</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.3.4</version>
        <exclusions>
            <exclusion>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.slf4j</groupId>