当前位置：首页 > article >正文

大数据之hive(分布式SQL计算工具)加安装部署

article 2024/10/22 14:18:32

1.分布式SQL计算:

对数据进行统计分析， SQL是目前最为方便的编程工具.

2.hive:主要功能:

将 SQL语句翻译成MapReduce程序运行,提供用户分布式SQL计算能力

3.构建分布式SQL计算:(hive核心组件)

需要有: 一:元数据管理功能, 即：数据位置,数据结构,等对数据进行描述,进行记录

二:SQL到MapReduce转换功能:SQL解析器:功能: SQL分析,SQL到MapReduce程序的转换,提交MapReduce程序运行并收集执行结果.

4.组件

一:组件1: metastore(元数据存储)

Hive提供了Metastore服务进程提供元数据管理功能

二:组件2:Driver驱动程序(SQL解析器)

包括语法解析器、计划编译器、优化器,执行器

三:用户接口:

包括CLI 、JDBC/ODBC 、WebGUI 。其中,CLI(command line interface) 为shell命令行；Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。.WebGUI是通过浏览器访问Hive。

5.安装部署:

一:安装MySQL,可以看我的文章MySQL8.0安装部署

二: 启动MySQL服务:systemctl start mysqld

三:配置hadoop:

(1):配置core-site.xml文件:添加:

<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
                <value>*</value>
        </property>

<property>
        <name>hadoop.proxyuser.hadoop.groups</name>
                <value>*</value>
        </property>

四:下载解压hive

hive安装包https://mirrors.aliyun.com/apache/hive/hive-4.0.1/?spm=a2c6h.25603864.0.0.16e229b19I1Iy0

下载这个

解压:命令: tar -zxvf /export/server/apache-hive-4.0.1-bin.tar.gz -C /export/server/

设置软连接:ln -s /export/server/apache-hive-4.0.1-bin /export/server/hive

五:提供MySQL driver包

将驱动包放入hive里的lib文件夹里

下载驱动包https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.30/

6.配置hive

一:在hive的conf文件夹新建hive-env.sh文件

命令: mv hive-env.sh.template hive-env.sh

加入:

export HADOOP_HOME=/export/server/hadoop

export HIVE_CONF_DIR=/export/server/hive/conf

export HIVE_AUX_JARS_PATH=/export/server/hive/lib

二: 在 Hive的conf目录内，新建hive-site.xml文件，填入以下内容：

<configuration>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://wtk:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&allowPublicKeyRetrieval=TRUE&serverTimezone=UTC&characterEncoding=UTF-8</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>
</property>
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>wtk</value>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://wtk:9083</value>
</property>
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
</configuration>