Hive安装与配置
你需要掌握:
1.Hive
的基本安装; 2.Mysql
的安装与设置; 3.Hive 的配置。
注意:Hive
的安装与配置建立在Hadoop
已安装配置好的情况下。
hadopp安装与配置
Hive 的基本安装
从 官网 下载Hive
二进制包,下载好放在/opt
目录下。
- 进入
/opt
目录,解压apache-hive-3.1.0-bin.tar.gz
到该目录下,并将解压的文件重命名为hive
;
-
cd /opt tar -zxvf apache-hive-3.1.0-bin.tar.gz mv apache-hive-3.1.0-bin hive
- 设置环境变量,编辑
vi /etc/profile
,在末尾添加以下两行代码;
-
export HIVE_HOME=/opt/hive export PATH=$HIVE_HOME/bin:$PATH
-
使环境生效;source /etc/profile
- 查看
hive
是否安装成功:hive --version
。
出现hive
版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。我们只需删除掉引起冲突的包即可:rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar
。
Mysql 的安装与设置
已安装MySQL
数据库,在本地没有安装可以采用以下命令进行安装:
-
sudo apt-get install mysql-server #安装mysql服务 apt-get install mysql-client #安装mysql客户端 sudo apt-get install libmysqlclient-dev #安装相关依赖环境
注意:安装过程中会提示设置密码什么的,不要忘了设置。
安装完成之后可以使用如下命令来检查是否安装成功。
sudo netstat -tap | grep mysql
通过上述命令检查之后,如果看到有MySQL
的socket
处于listen
状态则表示安装成功。
Hive
需要数据库来存储metastore
的内容,因此我们需要配置一下MySQL
数据库。
- 下载
mysql
驱动;
我已经帮你下载好放在/opt
目录下,进入该目录并进行以下操作:
-
tar -zxvf mysql-connector-java-5.1.45.tar.gz cd mysql-connector-java-5.1.45 cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/
接下来介绍MySQL
为Hive
做的设置。
- 使用
root
用户登录MySQL
数据库;
mysql -uroot -p123123 -h127.0.0.1
-
创建数据库实例
hiveDB
;create database hiveDB;
-
创建用户
bee
,密码为123123
;create user 'bee'@'%' identified by '123123';
-
授权用户
bee
拥有数据库实例hiveDB
的所有权限;
grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
- 刷新系统权限表。
flush privileges;
Hive 的配置
在/opt/hive/conf
目录下,修改hive-site.xml
和hive-env.sh
两个文件。
hive-site.xml
hive-site.xml
保存Hive
运行时所需要的相关配置信息。
- 如果目录下没有该文件,我们直接创建一个:
vi hive-site.xml
,将以下内容复制到其中(按i
进入编辑模式后再进行粘贴)。
-
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! --> <!-- WARNING!!! Any changes you make to this file will be ignored by Hive. --> <!-- WARNING!!! You must make your changes in hive-site.xml instead. --> <!-- Hive Execution Parameters --> <property> <name>hive.metastore.warehouse.dir</name> <value>/opt/hive/warehouse</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/opt/hive/tmp</value> </property> <property> <name>hive.querylog.location</name> <value>/opt/hive/logs</value> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>localhost</value> </property> <property> <name>hive.server2.enable.doAs</name> <value>true</value> </property> <property> <name>hive.session.id</name> <value>false</value> </property> <property> <name>hive.session.silent</name> <value>false</value> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>bee</value> <!-- 这里是之前设置的数据库 --> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <!-- 这里是数据库密码 --> <value>123123</value> </property> </configuration>
完成后,在命令行模式(按 Esc
),输入:wq!
保存退出。
hive-env.sh
由于Hive
是一个基于Hadoop
分布式文件系统的数据仓库架构,主要运行在 Hadoop
分布式环境下,因此,需要在文件hive-env.sh
中指定Hadoop
相关配置文件的路径,用于Hive
访问HDFS
(读取fs.defaultFS
属性值)和 MapReduce
(读取mapreduce.jobhistory.address
属性值)等Hadoop
相关组件。
- 如果目录下没有该文件,我们就以模板复制一个
cp hive-env.sh.template hive-env.sh
。vi hive-env.sh
打开文件,在文件末尾添加变量指向 Hadoop 的安装路径:HADOOP_HOME=/usr/local/hadoop #在本地环境安装,要根据自己hadoop的路径来确定
Hive
配置完成。 第一次启动Hive
前还需要执行初始化命令: schematool -dbType mysql -initSchema
。start-dfs.sh