文章目录
- 1. SparkSQL函数概述
- 2. SparkSQL内置函数
- 2.1 常用内置函数分类
- 2.2 常用数组函数
-
- 2.3 常用日期与时间戳函数
- 2.4 常见聚合函数
- 2.5 常见窗口函数
- 3. SparkSQL自定义函数
-
1. SparkSQL函数概述
- Spark SQL 提供了丰富的内置函数，用于数据处理和分析。这些函数包括字符串操作、日期时间处理、数学计算、聚合函数以及窗口函数等。通过使用这些函数，用户可以高效地进行数据转换、过滤和聚合操作。Spark SQL 还支持用户自定义函数（UDF），以满足特定需求。这些函数使得在分布式环境中处理大规模数据变得更加便捷和灵活。
2. SparkSQL内置函数
2.1 常用内置函数分类
2.2 常用数组函数
2.2.1 array()函数
1. 定义
- 在 Spark SQL 中，
array()函数用于创建一个包含指定元素的数组。该函数接受任意数量的参数，并将它们组合成一个数组。数组中的元素可以是任意类型，包括基本类型和复杂类型。
2. 语法
- 语法：
array(expr1, expr2, ..., exprN) - 参数：
expr1, expr2, …, exprN：要包含在数组中的元素。这些表达式可以是列名、常量或其他表达式。 - 返回值：返回一个包含指定元素的数组。
3. 示例
- 创建包含常量的数组，执行命令：
spark.sql("SELECT array(1, 5, 2, 6, 9) AS arr").show()
- 使用列创建数组，执行命令：
spark.sql("SELECT array(name, age) AS name_age_arr FROM student").show()
- 创建嵌套数组，执行命令：
spark.sql("SELECT array(array(1, 2), array(3, 4)) AS nested_array").show()
2.3 常用日期与时间戳函数
2.4 常见聚合函数
2.5 常见窗口函数
3. SparkSQL自定义函数
3.1 自定义函数分类
| UDF 函数 | UDAF 函数 | UDTF 函数 |
|---|
| 一进一出（使用广泛） | 多进一出（使用一般） | 一进多出（很少使用） |
3.2 自定义函数案例演示
