当前位置：首页 > article >正文

CDP中的Hive3之Apache Hive3特性

article 2025/1/16 13:56:30

CDP中的Hive3之Apache Hive3特性

- - 1、Apache Hive3特性
  - 2、Hive不支持的接口和功能
  - 3、Hive on Tez简介
  - 4、Apache Hive3架构概述

CDP中采用的是Apache Hive3版本，相比Hive1/2，该版本在事务和安全性等方面有重大改进，了解这些版本之间的主要差异对于SQL用户至关重要，包括使用Apache Spark和Apache Impala的用户

1、Apache Hive3特性

Hive是一个数据仓库系统，用于汇总、查询和分析庞大的不同数据集。Apache Hive3的重大变更主要改进了Apache Hive2的事务和安全性

1）ACID事务处理

Hive3的表符合ACID（原子性、一致性、隔离性和持久性）

Hive3写入和读取操作提高了事务表的性能。原子操作包括简单的插入、写入多个分区以及在单个SELECT语句中进行多次插入

读取操作不受操作期间发生更改的影响。您可以插入或删除数据，并且在软件和硬件崩溃期间保持一致。这简化了Hive表的创建和维护，因为Hive不再需要使用Bucket表

2）物化视图

由于多个查询经常需要同一个中间汇总表或连接表，因此您可以通过预先计算中间表并将其缓存到视图中来避免成本高昂、重复的查询部分共享

3）查询结果缓存

Hive过滤和缓存相似或相同的查询。Hive不会重新计算未更改的数据。当成百上千的BI工具和Web服务用户查询Hive时，缓存重复查询可以显着减少负载

4）计划查询

使用SQL语句，您可以安排Hive查询重复运行、监控查询进度、暂时忽略查询计划并限制并行运行的数量。例如，您可以使用计划查询来启动压缩并定期重建物化视图

5）安全改进

默认使用Apache Ranger保护Hive的数据。为了满足并发改进、ACID支持、渲染安全性和其他功能的需求，Hive严格控制文件系统或对象存储上的仓库位置以及内存资源

借助Apache Ranger和Apache Hive ACID的支持，您的组织将准备好支持和实施GDPR（General Data Protection Regulation，通用数据保护条例）

6）连接池

Hive支持HakariCP JDBC连接池

7）查询级别的工作负载管理

您可以配置谁使用查询资源、可以使用多少、以及Hive响应资源请求的速度。工作负载管理可以改进并行查询执行、查询的集群共享和查询性能。尽管名称相似，但Hive工作负载管理查询与Cloudera Workload XM无关，用于报告和查看数百万个查询和数百个数据库

8）Spark与Hive集成

Spark和Hive表使用HWC（Hive Warehouse Connector）和Spark Direct Reader进行互操作以访问ACID管理的表。您可以使用SparkSQL直接从Spark访问外部表

您不需要使用HWC来读取或写入Hive外部表。Spark用户只是直接从Hive读取或写入。您可以读取ORC或Parquet格式的Hive外部表。但是您只能以ORC格式写入到Hive的外部表

9）不支持的功能

CDP不支持HDP和CDH平台中可用的以下功能：

多个INSERT OVERWRITE从源表读取数据的查询
指定托管表位置的CREATE TABLE语句

不要使用LOCATION子句来创建托管表。Hive将仓库中的默认位置分配给托管表
创建索引

Hive自动在ORC或Parquet的主表中构建和存储索引，而不是将索引维护在不同的表中。设置hive.optimize.index.filter为启用使用（不推荐，改为使用物化视图）。在升级期间，现有索引在Parquet或ORC中保留并迁移到CDP

官方文档：https://docs.cloudera.com/cdp-private-cloud-base/latest/hive-introduction/topics/hive_whats_new_in_this_release_hive.html

2、Hive不支持的接口和功能

官方文档：https://docs.cloudera.com/cdp-private-cloud-base/latest/hive-introduction/topics/hive-unsupported.html

3、Hive on Tez简介

Cloudera数据平台(CDP)服务，提供Apache Tez执行的Apache Hive SQL数据库

Hive on Tez服务提供基于Apache Hive3的基于SQL的数据仓库系统。Hive3中相对于以前版本的增强可以提高SQL查询性能、安全性和审计功能

Hive Metastore(HMS)是一个单独的服务，不是Hive的一部分，甚至不一定在同一个集群上。HMS将元数据存储在后端，用于Hive、Impala、Spark和其他组件

Apache Tez是Hive on Tez服务的Hive执行引擎，其中包括Cloudera Manager中的HiveServer(HS2)，不支持MapReduce。在Cloudera集群中，如果遗留脚本或应用程序指定MapReduce执行，则会发生异常。大多数用户定义的函数(UDF)不需要更改即可在Tez而不是MapReduce上执行

通过有向无环图(DAG)和数据传输原语的表达式，在Tez上执行Hive查询代替MapReduce提高了查询性能。在Cloudera Data Platform(CDP)中，Tez通常仅供Hive使用，并在Tez上的Hive启动时自动启动和管理Tez AM。您提交给Hive的SQL查询执行如下：