当前位置: 首页 > article >正文

springboot远程链接Hadoop

2.3、springboot远程链接Hadoop

1、依赖

  • <!--        Hadoop依赖-->
            <!-- Hadoop Client -->
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>3.3.1</version>
            </dependency>
    
    

2、yaml文件

  • #HDFS配置
    hdfs:
      path: hdfs://192.168.44.128:9000
      user: hadoop
    

3、安装配置winutils.exe

  • https://gitee.com/bochangguan/winutils/tree/master

  • 配置系统环境变量:HADOOP_HOME,和path

  • image-20250105114135398

  • path

    • image-20250105114212328

4、示例代码

  • controller层

    • @RestController
      @RequestMapping("/test/hdfs")
      public class HdfsController {
       
          @Autowired
          private HdfsService service;
       
       
          @GetMapping("/mkdir")
          public String mkdir(String path){
              try {
                  service.mkdir(path);
                  return "1";
              } catch (Exception e) {
                  System.out.print(e.toString());
                  return "2";
              }
          }
      }
      
  • service层

    •     public boolean mkdir(String dir) throws Exception{
              if(StringUtils.isBlank(dir)){
                  return false;
              }
              if(exist(dir)){
                  return true;
              }
              FileSystem fileSystem = getFileSystem();
              boolean isOk = fileSystem.mkdirs(new Path(dir));
              fileSystem.close();
              return isOk;
          }
      

http://www.kler.cn/a/468290.html

相关文章:

  • winform中使用panuon开源UI库的问题
  • Vue3+Element Plus的表格分页实战
  • GESP202406 二级【计数】题解(AC)
  • 系统架构师考试-ABSD基于架构的设计方法
  • C++多态(八股总结)
  • weblogic安装 12.2.1.4.0集群
  • launch.json传递True值
  • CSS3 框大小
  • Python基于wordcloud库绘制词云图
  • 基于SpringBoot的旅游网站的设计与实现(源码+数据库+文档)
  • 深入探索:将 Elasticsearch 与 Ruby 工具结合使用
  • Postgresql源码(139)vim直接修改postgresql表文件的简单实例
  • 字玩FontPlayer开发笔记3 性能优化 大量canvas渲染卡顿问题
  • CSS——6. 导入样式
  • GraphRAG实践:neo4j试用
  • Xcode 16.1: Warning: unable to build chain to self-signed root for signer
  • 降维算法之PCA(PrincipalComponent Analysis,主成分分析)
  • Python实现一个简单的 HTTP echo 服务器
  • 举例说明AI模型怎么聚类,最后神经网络怎么保存
  • Linux 基础七 内存
  • 自动驾驶控制算法-横纵向控制仿真
  • 【pyqt】(二)基础框架
  • Anaconda环境配置(Windows11+python3.9)
  • 【Python】Flink和Flask区别总结
  • Markdown流程图
  • 让 Agent 具备语音交互能力:技术突破与应用前景(16/30)