当前位置：首页 > article >正文

Spark SQL 中对 Map 类型的操作函数

article 2025/1/23 5:24:32

Spark SQL 中对 Map 类型的操作函数

在 Spark SQL 中，map 是一种常用的数据类型，用于存储键值对（key-value pairs）。Spark SQL 提供了一系列内置函数来操作 map 类型的数据，包括创建、访问、修改、合并、键值操作等功能。以下是 Spark SQL 中与 map 类型相关的操作函数及其功能描述。

1. 创建 Map

函数名	描述
`map(key1, value1, key2, value2, ...)`	创建一个 Map，指定多个键值对。

示例

SELECT map('key1', 'value1', 'key2', 'value2') AS my_map;

结果

+-------------------------------+
|my_map                         |
+-------------------------------+
|{key1 -> value1, key2 -> value2}|
+-------------------------------+

2. Map 元素访问

函数名	描述
`map_keys(map)`	返回 Map 中的所有键，结果是一个数组。
`map_values(map)`	返回 Map 中的所有值，结果是一个数组。
`element_at(map, key)`	返回 Map 中指定键对应的值。如果键不存在，返回 `NULL`。

示例

SELECT 
    map_keys(map('key1', 'value1', 'key2', 'value2')) AS keys,
    map_values(map('key1', 'value1', 'key2', 'value2')) AS values,
    element_at(map('key1', 'value1', 'key2', 'value2'), 'key1') AS value_for_key1;

结果

+------------+------------+---------------+
|keys        |values      |value_for_key1 |
+------------+------------+---------------+
|[key1, key2]|[value1, value2]|value1     |
+------------+------------+---------------+

3. Map 修改与操作

函数名	描述
`map_concat(map1, map2, ...)`	合并多个 Map。如果有重复的键，保留最后一个 Map 中的值。
`transform_keys(map, k -> expression)`	对 Map 的每个键应用表达式，返回一个新的 Map。
`transform_values(map, v -> expression)`	对 Map 的每个值应用表达式，返回一个新的 Map。
`map_filter(map, (k, v) -> condition)`	对 Map 进行过滤，返回满足条件的键值对组成的新 Map。
`map_from_arrays(keys, values)`	将两个数组（一个键数组和一个值数组）转换为一个 Map，数组长度必须相同。

示例

SELECT 
    map_concat(map('key1', 'value1'), map('key2', 'value2')) AS merged_map,
    transform_keys(map('key1', 'value1'), k -> upper(k)) AS upper_keys_map,
    transform_values(map('key1', 'value1'), v -> concat(v, '_new')) AS updated_values_map,
    map_filter(map('key1', 'value1', 'key2', 'value2'), (k, v) -> k = 'key1') AS filtered_map,
    map_from_arrays(array('key1', 'key2'), array('value1', 'value2')) AS map_from_arrays;

结果

+-------------------------------+-----------------------+---------------------------+-----------------------+-------------------------------+
|merged_map                     |upper_keys_map         |updated_values_map         |filtered_map           |map_from_arrays               |
+-------------------------------+-----------------------+---------------------------+-----------------------+-------------------------------+
|{key1 -> value1, key2 -> value2}|{KEY1 -> value1}      |{key1 -> value1_new}       |{key1 -> value1}       |{key1 -> value1, key2 -> value2}|
+-------------------------------+-----------------------+---------------------------+-----------------------+-------------------------------+

4. Map 条件与检查

函数名	描述
`size(map)`	返回 Map 的大小（即键值对的数量）。
`map_contains_key(map, key)`	检查 Map 中是否包含指定的键，返回布尔值。
`map_contains_value(map, value)`	检查 Map 中是否包含指定的值，返回布尔值。

示例

SELECT 
    size(map('key1', 'value1', 'key2', 'value2')) AS map_size,
    map_contains_key(map('key1', 'value1', 'key2', 'value2'), 'key1') AS contains_key1,
    map_contains_value(map('key1', 'value1', 'key2', 'value2'), 'value3') AS contains_value3;

结果

+---------+--------------+----------------+
|map_size |contains_key1 |contains_value3 |
+---------+--------------+----------------+
|2        |true          |false           |
+---------+--------------+----------------+

5. Map 与其他类型的转换

函数名	描述
`map_from_entries(array_of_structs)`	将一个结构体数组转换为 Map，结构体必须包含两个字段，分别表示键和值。
`map_entries(map)`	将 Map 转换为一个结构体数组，结构体包含两个字段，分别表示键和值。

示例

SELECT 
    map_from_entries(array(struct('key1', 'value1'), struct('key2', 'value2'))) AS map_from_entries,
    map_entries(map('key1', 'value1', 'key2', 'value2')) AS map_entries_result;

结果

+-------------------------------+-------------------------------+
|map_from_entries               |map_entries_result            |
+-------------------------------+-------------------------------+
|{key1 -> value1, key2 -> value2}|[{key1, value1}, {key2, value2}]|
+-------------------------------+-------------------------------+

6. Map 高级操作

函数名	描述
`explode(map)`	将 Map 中的每个键值对转为多行，分别作为两列返回（键和值）。
`posexplode(map)`	与 `explode` 类似，但还会返回键值对在 Map 中的位置索引。

示例

SELECT 
    explode(map('key1', 'value1', 'key2', 'value2')) AS (key, value),
    posexplode(map('key1', 'value1', 'key2', 'value2')) AS (pos, key, value);

结果

+----+-------+
|key |value  |
+----+-------+
|key1|value1 |
|key2|value2 |
+----+-------+

+---+----+-------+
|pos|key |value  |
+---+----+-------+
|0  |key1|value1 |
|1  |key2|value2 |
+---+----+-------+

总结

Spark SQL 提供了丰富的 map 操作函数，覆盖了创建、访问、修改、检查和转换等多种场景：

创建与转换：使用 map() 创建 Map，或通过 map_from_arrays() 和 map_from_entries() 转换数组或结构体。
访问键值：通过 map_keys()、map_values() 获取键和值，使用 element_at() 获取指定键的值。
修改与合并：支持 map_concat() 合并 Map，transform_keys() 和 transform_values() 修改键或值。
条件与检查：可以使用 map_contains_key() 和 map_contains_value() 检查键或值是否存在。
高级操作：通过 explode() 和 posexplode() 将 Map 展开为多行。