从hadoop平台下载文件到本地Windows
一、只能上传文件,不能下载
1、原因:
如果在Windows中没有配置hadoop的环境变量,用idea远程连接上hadoop平台之后,只能往hadoop上推送数据文件,并不能下载文件,因为下载时hadoop会检测本地有无hadoop环境配置,所以我们需要安装winutils,在windows本地模拟一个hadoop环境,这样就可以将hadoop上的文件下载下来。winutils项目:这是一个针对Windows系统的Hadoop实用程序集合,使Windows用户也能轻松搭建和运行Hadoop生态系统。
要下载符合对应的hadopp版本的winutils,下载地址GitCode - 全球开发者的开源社区,开源代码托管平台GitCode是面向全球开发者的开源社区,包括原创博客,开源代码托管,代码协作,项目管理等。与开发者社区互动,提升您的研发效率和质量。https://gitcode.com/gh_mirrors/wi/winutils/?utm_source=artical_gitcode&index=top&type=card&webUrl
解决方法:
1.复制解压后的winutils地址
2、配置环境变量
3、重启idea
配置winutils完成后要重启idea,让环境变量生效!只需要配置HADOOP_HOME就行,可以不用放到PATH里面。
二、hdfs的读写(i/o)命令
注意hadoop中的读写命令,fs.read(),fs.write()只是在hdfs中进行,读取hdfs上的文件,再写到hdfs上的某个的目录下,如果目录不存在,create方法也会创建一个,这仅仅是在hdfs上的输入输出流,不能读hdfs上的文件内容然后再输出到windows上
三、上传文件报错:
如果上传文件的时候,出现FileNotFount(找不到文件错误),要么文件不存在,要么大多都是配置了相对路径而导致的错误!点击EditConfig,找出当前的工作路径在哪,修改成合理的相对路径再上传,或者就直接用绝对路径,尽量避免相对路径
报错情况:
1、打开当前工作路径
2、查看当前工作路径