Hive数仓操作（二）

Hive 数据类型与连接

Hive 是一个用于处理大规模数据集的工具，支持多种数据类型以满足不同的需求。本文将详细介绍 Hive 的基本数据类型和集合数据类型。

一、Hive 基本数据类型

Hive 提供了多种基本数据类型，适用于不同的数据存储和处理需求：

注意

• Hive 的 STRING 类型相当于数据库中的 VARCHAR 类型，但不能声明最大字符数，理论上可以存储 2GB 的字符数据。
• Hive 在处理时间时通常使用字符串格式存储日期和时间，支持灵活的时间字符串格式。

二、Hive 集合数据类型

Hive 还支持集合数据类型，这些数据类型允许存储复杂的数据结构。

例子

1. STRUCT 示例：

   SELECT person.name.first FROM table;
   

2. MAP 示例：

   SELECT person.address['city'] FROM table;
   

   假设有一个 address 列，这个列的类型是 MAP，address 列存储了以下键-值对：

• 'city' -> 'New York'
• 'state' -> 'NY'
• 'zip' -> '10001'

3. ARRAY 示例：

   SELECT names[1] FROM table;  -- 获取第二个名字
   

三、数据导入 Hive

在 Hive 中，数据的导入通常有两种方式：

• Pull（自己获取数据）：
  通过工具、存储过程或 SQL 语句，从其他系统查询数据，经过处理后保存到 Hive 中。

• Push（其他系统提供数据）：
  其他系统将数据保存为文件（如 TXT 和 CSV 格式），然后将文件导入 Hive。这通常涉及文件和表的映射关系。

四、Hive的连接

1. 直接使用 Hive 客户端

在 Linux 命令行下，你可以直接输入 hive 命令来启动 Hive 客户端。

hive

终端

$ hive
Logging initialized using configuration in /path/to/hive/conf/hive-log4j.properties
Hive CLI is running on Apache Hive <version> (Hive <version>)
Type "exit" or "quit" to quit.
hive (default)>

结果：

• 当看到提示符 hive (default)> 时，表示你已成功进入 Hive 客户端。
• 注意：这种方式仅能连接到本地的 Hive 服务。

2. 使用 Beeline 客户端

要使用 Beeline 客户端，首先需要启动被连接的 HiveServer2 服务。启动命令如下：

hiveserver2 &

连接 Beeline：

然后，你可以通过 Beeline 连接到 HiveServer2。启动 Beeline 客户端：

beeline

连接到 Hive：

在 Beeline 提示符下，使用以下命令连接到 Hive：

!connect jdbc:hive2://192.168.150.130:10000

终端

beeline> !connect jdbc:hive2://192.168.150.130:10000
Connecting to jdbc:hive2://192.168.150.130:10000
Enter username for jdbc:hive2://192.168.150.130:10000: root
Enter password for jdbc:hive2://192.168.150.130:10000: ********

结果：

• 输入连接信息后，你将被提示输入用户名和密码（如果需要）。
• 成功连接后，你就可以在 Beeline 中执行 SQL 查询。

3. 使用第三方工具连接

例如，使用 DataGrip 或其他 SQL 客户端工具连接到 Hive。以 DataGrip 为例：

设置 DataGrip 连接：

1. 打开 DataGrip。
2. 创建新的数据源，选择 Hive 作为数据库类型。
3. 填入连接信息：
   • 驱动: 选择 Hive JDBC 驱动。
   • URL: jdbc:hive2://192.168.150.130:10000
   • 用户名和密码（如果需要）。

结果：

• 点击“测试连接”确认连接成功。
• 成功连接后，可以在 DataGrip 中编写和执行 Hive 查询。