当前位置: 首页 > article >正文

详细教程-Linux上安装单机版的Hadoop

1、上传Hadoop安装包至linux并解压

tar -zxvf hadoop-2.6.0-cdh5.15.2.tar.gz

安装包:
链接:https://pan.baidu.com/s/1u59OLTJctKmm9YVWr_F-Cg 
提取码:0pfj

2、配置免密码登录

生成秘钥:
ssh-keygen -t rsa -P ''

将秘钥写入认证文件:
cd ~/.ssh
cat id_rsa.pub >> ~/.ssh/authorized_keys
修改认证文件权限:
chmod 600 ~/.ssh/authorized_keys

3、配置环境变量

Hadoop 加入环境变量 /etc/profile
vi /etc/profile

4、修改Hadoop配置文件

1 ) 修改hadoop-env.sh 文件
vi /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh
修改 JAVA_HOME :(这里要改成你自己linux中的jdk路径)
export JAVA_HOME=/usr/local/jdk1.8.0_181
2 )修改 core-site.xml 文件
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://lcc:9090</value>
        </property>
</configuration>
3)  修改 hdfs-site.xml 文件
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/hadoop-2.6.0-cdh5.15.2/tmp</value>
        </property>
</configuration>

4)  修改mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
5 )修改 slaves 文件
vi slaves
改成上面的 lcc(这里就是你的一个主机名,注意要在hosts文件中配置好 ip地址 主机名)
这里配置的是单节点, 指向本机主机名称。
6)修改yarn-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

5、启动Hadoop服务

进入到sbin目录

cd /usr/local/hadoop-2.6.0-cdh5.15.2/sbin/

执行启动脚本

./start-all.sh

上传一个文件, 用于测试:

hdfs dfs -put /usr/local/hadoop-2.6.0-cdh5.15.2/etc/hadoop/hadoop-env.sh /

如果遇到如下报错:

请执行以下命令解决

再次重新执行hdfs上传即可

6、访问验证

至此Hadoop单机版安装完毕


http://www.kler.cn/a/403983.html

相关文章:

  • 【CVE-2024-9413】SCP-Firmware漏洞:安全通告
  • Oracle 19C 安装RAC磁盘投票失败
  • springboot整合License授权控制
  • CSV文件数据导入hive
  • 大数据实战-搭建Linux虚拟机
  • WPF Prism框架
  • 支付宝租赁小程序的优势与应用前景分析
  • 创客匠人老蒋:个人IP如何获取有效流量?
  • 重读《人月神话》(14)-整体部分(The Whole and the Parts)
  • LVI-SAM视觉特征点深度恢复原理解析
  • 23种设计模式速记法
  • 《Beginning C++20 From Novice to Professional》第十三章 Operator Overloading
  • 泷羽sec----shell编程(7)
  • 什么是React Native?
  • 使用node-addon-api实现从c到nodejs模块全流程
  • 26届JAVA 学习日记——Day14
  • 【学习笔记】AD智能PDF导出(装配文件)
  • React的API✅
  • reactflow 中 useReactFlow 模块作用
  • IDEA 2024安装指南(含安装包以及使用说明 cannot collect jvm options 问题 四)
  • Ubuntu 18.04 安装 Docker
  • ubuntu中使用ffmpeg和nginx推流rtmp视频
  • 大数据新视界 -- Hive 数据仓库:架构深度剖析与核心组件详解(上)(1 / 30)
  • 电源模块自动化测试系统的优势体现在哪些方面?-纳米软件
  • 科技赋能健康:多商户Java版商城系统引领亚健康服务数字化变革
  • uniapp奇怪bug汇总