当前位置: 首页 > article >正文

大数据Hive组件安装

组件版本

组件版本
Hadoop3.3.0
JDK1.8.0_241
Mysql5.7.25
Hive3.1.2

Hadoop集群服务分布

Node1Node2Node3
NameNode DataNode   DataNode
DataNode NodeManager    NodeManager
ResourceManagerSecondaryNameNode

安装前请确定Hadoop集群服务全部启动,不然后续测试时会报错node1:8020数据接口拒接链接! 

Mysql组件包

mysql-community-common-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-5.7.25-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm
mysql-community-client-5.7.25-1.el7.x86_64.rpm
mysql-community-server-5.7.25-1.el7.x86_64.rpm

Mysql和Hive都安装在Node1主节点上,且Mysql组件包安装顺序必须严格依照此表从上到下安装,各个组件包都属于相互依赖的关系,如不按照顺序安装可能出现安装失败等其他问题!

Hive安装

准备组件包Hive3.1.2

下载:Hive3.1.2

下载后上传至服务器/export/server目录下解压

解压:

tar -zxvf apache-hive-3.1.2-bin.tar.gz

添加Hive的环境变量

vim /etc/profile

添加以下内容: 

export HIVE_HOME=/export/server/apache-hive-3.1.2-bin
export PATH=$PATH:$HIVE_HOME/bin

完成后保存退出。

按ESC键,输入:wq回车退出

刷新环境变量

source /etc/profile

看到画红框的内容出现后即环境变量配置和刷新完成。

初始化元数据库(默认是derby数据库)

进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

报错解决:

原因:hadoop和hive的两个guava.jar版本不一致

解决:将hive目录下的低版本guava.jar更换成Hadoop下的高版本guava.jar即可

两个jar位置分别位于下面两个目录:

/export/servers/hive/lib/guava-19.0.jar 
/export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar

进入hive/lib目录下删除掉旧版本的guava.jar。

cd /export/server/apache-hive-3.1.2-bin/lib

rm guava-19.0.jar

进入Hadoop/share/hadoop/common/lib目录下,将新版本的guava.jar复制到hive/lib目录下

cd /export/server/hadoop-3.3.0/share/hadoop/common/lib

复制到hive的lib目录下

cp guava-27.0-jre.jar /export/server/apache-hive-3.1.2-bin/lib/

完成,

再次执行初始化元数据库

 进入/export/server/apache-hive-3.1.2-bin目录下

cd /export/server/apache-hive-3.1.2-bin

执行初始化

bin/schematool -dbType derby -initSchema

测试:

成功,hive安装完成。

Mysql安装


http://www.kler.cn/news/324553.html

相关文章:

  • 快速上手Cron表达式
  • Github 2024-09-29 php开源项目日报 Top10
  • Redis Pipeline 使用指南:从基础到进阶
  • C语言扫盲
  • 《Linux运维总结:使用 MongoDB工具备份和恢复mongodb 7.0.14分片集群(方案一)》
  • elementUi / elementPlus自定义上传方法 Upload自定义文件上传
  • Hive命令及属性配置
  • 我设置了路由器自动切换ip,这会让我的账号登录地址经常改变吗
  • 初识C#(二)- 流程控制
  • Apache APISIX学习(2):安装Grafana、prometheus
  • LeeCode打卡第三十一天
  • 基于springboot+vue学生宿舍管理系统设计与实现
  • 【Verilog学习日常】—牛客网刷题—Verilog企业真题—VL68
  • [240929] 12 款最佳免费开源隐写工具 | Llama 3.2: 开源、可定制模型,革新边缘人工智能和视觉体验
  • Windows 10 on ARM, version 22H2 (updated Sep 2024) ARM64 AArch64 中文版、英文版下载
  • Flask 实现文件下载
  • Vue3 项目环境变量配置(Vite)
  • 2024年7月大众点评全国小吃快餐前百名城市分析
  • U盘打开提示要格式化:深度解析、恢复策略与预防之道
  • CSS列表
  • 每天学习一个技术栈 ——【Celery】篇(2)
  • FTP 服务器 linux安装
  • 面试速通宝典——5
  • 解锁免费数据恢复工具的潜力,找回珍贵数据记忆
  • android设计模式的建造者模式,请举例
  • RabbitMQ的各类工作模式介绍
  • SOCKS5代理和HTTP代理哪个快?深度解析两者的速度差异
  • 支持云边协同的「物联网平台+边缘计算底座」
  • tcpdump捕获指定端口的网络流量并实时输出
  • OpenCV_自定义线性滤波(filter2D)应用详解