当前位置： 首页 > article >正文

大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结

article 2024/11/23 0:25:19

点一下关注吧！！！非常感谢！！持续更新！！！

Java篇开始了！

目前开始更新 MyBatis，一起深入浅出！

目前已经更新到了：

  • Hadoop（已更完）
  • HDFS（已更完）
  • MapReduce（已更完）
  • Hive（已更完）
  • Flume（已更完）
  • Sqoop（已更完）
  • Zookeeper（已更完）
  • HBase（已更完）
  • Redis （已更完）
  • Kafka（已更完）
  • Spark（已更完）
  • Flink（已更完）
  • ClickHouse（已更完）
  • Kudu（已更完）
  • Druid（已更完）
  • Kylin（已更完）
  • Elasticsearch（已更完）
  • DataX（已更完）
  • Tez（已更完）
  • 数据挖掘（已更完）
  • Prometheus（已更完）
  • Grafana（已更完）
  • 离线数仓（正在更新…）

章节内容

上节我们完成了如下的内容：

  • ODS层的构建 Hive处理
  • JSON 数据处理 结构化

在这里插入图片描述

JSON 数据处理

续接上节，上节到了内建函数。

使用UDF处理

自定义UDF处理JSON串中的数组，自定义UDF函数：

  • 输入：JSON串、数组的Key
  • 输出：字符串数组

UDF（User Defined Function）

UDF 是用户定义的函数，用于扩展大数据处理系统的功能。通过 UDF，用户可以实现特定的业务逻辑，用于数据的转换或计算。

UDF 的特点

  • 扩展性：Hive 等工具提供内置函数，但 UDF 允许用户实现自定义逻辑，满足复杂需求。
  • 灵活性：UDF 可以用多种编程语言实现（Java、Python 等）。

多种类型：

  • 普通 UDF：用于单行输入的计算，返回一个值。
  • UDAF（User Defined Aggregation Function）：用户定义的聚合函数，处理多行数据并返回单个结果。
  • UDTF（User Defined Table-generating Function）：用户定义的表生成函数，处理单行输入并输出多行数据。

导入依赖

<dependency>
  <groupId>org.apache.hive</groupId>
  <artifactId>hive-exec</artifactId>
  <version>2.3.7</version>
  <scope>provided</scope>
</dependency>

编写代码

package icu.wzk;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONArray;
import com.alibaba.fastjson.JSONException;
import com.alibaba.fastjson.JSONObject;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.parquet.Strings;

import java.util.ArrayList;

public class ParseJsonArray extends UDF {

    public ArrayList<String> evaluate(String jsonStr, String arrKey) {
        if (Strings.isNullOrEmpty(jsonStr)) {
            return null;
        }
        try {
            JSONObject object = JSON.parseObject(jsonStr);
            JSONArray jsonArray = object.getJSONArray(arrKey);
            ArrayList<String> result = new ArrayList<>();
            for (Object o : jsonArray) {
                result.add(o.toString());
            }
            return result;
        } catch (JSONException e) {
            return null;
        }
    }

}

打包代码

mvn clean package;

上传：“hive-parse-json-array-1.0-SNAPSHOT-jar-with-dependencies.jar”文件到指定的目录下。

测试函数

使用自定义UDF函数：

-- 启动hive
-- 添加自定义的jar包
add jar /opt/wzk/hive-parse-json-array-1.0-SNAPSHOT-jar-with-dependencies.jar;

-- 创建临时函数，指定类需要完整的路径
CREATE temporary function wzk_json_array AS "icu.wzk.ParseJsonArray";

执行结果如下图所示：
在这里插入图片描述
运行函数进行解析：

-- 执行查询进行测试
SELECT
  username, age, sex, wzk_json_array(json, "ids") ids
FROM jsont1;

运行结果如下图所示：
在这里插入图片描述

-- 解析json串中的数组，并展开
SELECT
  username, age, sex, ids1
FROM jsont1
lateral view explode(wzk_json_array(json, "ids")) t1 AS ids1;

运行结果如下图所示：
在这里插入图片描述

-- 解析json串中的数组，并展开
SELECT
  username, age, sex, ids1, id, num
FROM jsont1
lateral view explode(wzk_json_array(json, "ids")) t1 AS ids1
lateral view json_tuple(json, 'id', 'total_number') t1 AS id, num;

运行结果如下图所示：

在这里插入图片描述

使用SerDe处理

SerDe（Serializer and Deserializer）

SerDe 是序列化与反序列化的缩写，用于定义数据的读写方式。在大数据框架中，数据通常以结构化或非结构化形式存储，SerDe 用于将这些数据转化为系统可以理解的格式，或从系统中导出成所需格式。

SerDe 的作用

  • 反序列化：将存储中的字节流（例如文件）解析成 Hive 表中的行数据。
  • 序列化：将 Hive 表中的行数据转换为存储格式（如 JSON、CSV、Avro 等）。
  • 支持自定义数据格式：当 Hive 的内置格式不满足需求时，可以编写自定义 SerDe。

基本信息

序列化是对象转换为字节序列的过程，反序列化是字节序列恢复为对象的过程，对象的序列化主要有两种用途：

  • 对象的序列化，即把对象转换为字节序列后保存到文件中
  • 对象数据的网络传送

SerDe是Serializer和Deserilizer的简写形式，Hive使用Serde进行行对象的序列化与反序列化，最后实现把文件内容映射到Hive表中的字段数据类型。SerDe包括Serialize、Deserilize两个功能：

  • Serializa把Hive使用的JavaObject转换成能写入HDFS字节序列，或者其他系统能识别的流文件
  • Deserilize把字符串或者二进制流转换成Hive能识别的JavaObject对象

Read：HDFS Files => InputFileFormat => <Key, Value> => Deserializer => Row Object
Write: Row Object => Serializer => <Key, Value> => OutputFormat => HDFS files

Hive本身自带了几个内置的SerDe，还有其他一些第三方的SerDe可供选择。

CREATE TABLE t11(id string)
stored AS parquet;

CREATE TABLE t12(id string)
stored AS ORC;

DESC formatted t11;
DESC formatted t12;

创建数据

对于纯JSON格式的数据，可以使用JsonSerDe来处理：

vim /opt/wzk/json2.dat

写入内容如下所示：

{"id": 1,"ids": [101,102,103],"total_number": 3}
{"id": 2,"ids": [201,202,203,204],"total_number": 4}
{"id": 3,"ids": [301,302,303,304,305],"total_number": 5}
{"id": 4,"ids": [401,402,403,304],"total_number": 5}
{"id": 5,"ids": [501,502,503],"total_number": 3}

写入的数据如下所示：
在这里插入图片描述

进行测试

我们先启动Hive

hive

然后执行SQL进行测试：

-- 创建表数据
CREATE TABLE jsont2(
  id int,
  ids array<string>,
  total_number int
) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe';

-- 加载数据
load data local inpath '/opt/wzk/json2.dat' into
table jsont2;

执行结果如下图所示：
在这里插入图片描述

最后小结

各种JSON格式处理的小结：

  • 简单格式的JSON数据，使用 get_json_object、json_tuple处理
  • 对于嵌套数据类型，可以使用UDF
  • 纯JSON串可使用JsonSerDe处理更简单

http://www.kler.cn/a/405014.html

相关文章：

  • Redis基本的全局命令
  • Spring Boot核心概念：日志管理
  • 基于深度卷积神经网络（CNN）模型的图像着色研究与应用系统实现
  • 什麼是ISP提供的公共IP地址？
  • IDEA2019搭建Springboot项目基于java1.8 解决Spring Initializr无法创建jdk1.8项目 注释乱码
  • Bug：gomonkey系列问题(undefined: buildJmpDirective)
  • Leetcode:栈和队列的互相实现
  • Vue 中的透传，插槽，依赖注入
  • Linux-服务器辨别实体机OR虚拟机
  • 使用ENSP实现DHCP+动态路由
  • 逆向攻防世界CTF系列40-ReverseMe-120
  • 【Mac】安装 Python3
  • SpringMVC案例学习（二）--表白墙/图书管理系统1.0版本
  • 基于web的教务系统的实现（springboot框架 mysql jpa freemarker）
  • 小程序-使用 iconfont 图标库报错：Failed to load font
  • React的hook✅
  • CSV文件数据导入hive
  • 开发中使用UML的流程_02 CIM-1：定义业务流程
  • Docker 安装单机版mysql 并持久化数据
  • 【GNU】addr2line
  • 大前端的发展过程
  • 图像处理 之 凸包和最小外围轮廓生成
  • 开发体育赛事直播平台防止数据泄露的技术安全方案
  • Redis性能优化的18招
  • 掌握Golang中的数据竞争检测：runtime/race包全面教程
  • 探索Linux内核中的Runqueue：从O(n)到O(1)的演进与负载均衡应用