当前位置: 首页 > article >正文

从hadoop平台下载文件到本地Windows

一、只能上传文件,不能下载

1、原因:

如果在Windows中没有配置hadoop的环境变量,用idea远程连接上hadoop平台之后,只能往hadoop上推送数据文件,并不能下载文件,因为下载时hadoop会检测本地有无hadoop环境配置,所以我们需要安装winutils,在windows本地模拟一个hadoop环境,这样就可以将hadoop上的文件下载下来。winutils项目:这是一个针对Windows系统的Hadoop实用程序集合,使Windows用户也能轻松搭建和运行Hadoop生态系统。

要下载符合对应的hadopp版本的winutils,下载地址GitCode - 全球开发者的开源社区,开源代码托管平台GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。icon-default.png?t=O83Ahttps://gitcode.com/gh_mirrors/wi/winutils/?utm_source=artical_gitcode&index=top&type=card&webUrl

解决方法:

1.复制解压后的winutils地址

 

2、配置环境变量

3、重启idea

配置winutils完成后要重启idea,让环境变量生效!只需要配置HADOOP_HOME就行,可以不用放到PATH里面。

二、hdfs的读写(i/o)命令

注意hadoop中的读写命令,fs.read(),fs.write()只是在hdfs中进行,读取hdfs上的文件,再写到hdfs上的某个的目录下,如果目录不存在,create方法也会创建一个,这仅仅是在hdfs上的输入输出流,不能读hdfs上的文件内容然后再输出到windows上

三、上传文件报错:

如果上传文件的时候,出现FileNotFount(找不到文件错误),要么文件不存在,要么大多都是配置了相对路径而导致的错误!点击EditConfig,找出当前的工作路径在哪,修改成合理的相对路径再上传,或者就直接用绝对路径,尽量避免相对路径

报错情况:

1、打开当前工作路径

2、查看当前工作路径

 


http://www.kler.cn/a/299327.html

相关文章:

  • iOS——APP启动流程
  • Leetcode 移动零
  • qApp->allWindows()
  • EAC认证—技术护照、安全论证和使用说明编制要求
  • Github 2024-09-10 Python开源项目日报 Top10
  • go急速入门API开发
  • 深度学习-目标检测(一)-R-CNN
  • 2024年10款好用的图纸加密软件推荐|有效的图纸加密方法分享
  • C#--CM+Fody+HCWPF开发组合
  • 图标工具类 - C#小函数类推荐
  • 『功能项目』状态模式转换场景【30】
  • DDoS安全防护,多场景适用!
  • 各类AI工具编程能力测试对比
  • Ubuntu 安装PostgreSQL
  • 【PPT学习笔记】使用PPT制作动画/手书/视频等作品的适配性和可能性?
  • [苍穹外卖]-08微信支付详解
  • python转换并提取pdf文件中的图片
  • 智能巡检机器人局部放电检测的应用
  • 828华为云征文|华为云Flexus X实例docker部署rancher并构建k8s集群
  • 苹果系统(MacOS)中的Finder如何方便展现根目录