当前位置: 首页 > article >正文

Hive:复杂数据类型之Map函数

Map函数

是Hive里面的一种复杂数据类型, 用于存储键值对集合。Map中的键和值可以是基础类型或复合类型,这使得Map在处理需要关联存储信息的数据时非常有用。

定义map时,需声明2个属性: key 和 value , map中是 key + value 组成一个元素

key-value,  key必须为原始类型,value可以任意类型

示例

数据准备

建表: 定义map的2个属性, key的数据类型是string, value的数据类型是int , 创建表的hql末尾除了定义行的分隔符,数组元素的分隔符外还需要定义key之间的分隔符(map中一个键值对是一个元素)

把数据从本地上传到HDFS 

数据查询 

查询map的具体元素时使用key下标, 比如chinese, math 

 

展开数据

求每个人的总成绩: 把数据展开后group by 

把动态数据写入map中

拼接数据caoncat>>分组形成数组group by 和 collect_list >>转换成字符串 concat_ws>>转换成map   使用 str_to_map

准备数据

第一步:将科目和成绩组合在一起,concat, 注意拼接分隔符, 

使用concat函数, 在oracle中concat只能拼接2个字段, 在Hive中没有这个限制

不适用collect_set函数和collect_list函数是因为collect只能用于单列的

第二步: 将所有属于同一个人的数据组合在一起, collect_list

第三步 : 将数组变成一个字符串 concat_ws
concat_ws
字符串拼接函数,用于将多个字符串使用指定的分隔符连接起来。它的全称是 "concatenate with separator",即带分隔符的字符串连接。 concat_ws 函数的第一个参数是分隔符,后面的参数是要连接的字符串。如果分隔符为 NULL,则返回 NULL。值为 NULL 的字符串将被跳过。
SEP分隔符自定义,可以不必是数组里的分隔符

 第四步:将字符串转成map 使用函数str_to_map(text, delimiter1, delimiter2)

str_to_map(text, delimiter1, delimiter2)
text :是字符串
delimiter1 :多个键值对之间的分隔符
delimiter2 key value 之间的分隔符

 


http://www.kler.cn/a/527825.html

相关文章:

  • 灵芝黄金基因组注释-文献精读109
  • java后端之登录认证
  • arkts bridge使用示例
  • 【机器学习】自定义数据集 使用pytorch框架实现逻辑回归并保存模型,然后保存模型后再加载模型进行预测,对预测结果计算精确度和召回率及F1分数
  • 【C++】类和对象(5)
  • 深入理解Flexbox:弹性盒子布局详解
  • 深度学习之“数据的相关性”
  • 人工智能导论--第1章-知识点与学习笔记
  • 用一个例子详细说明python单例模式
  • 【AI论文】VideoAuteur:迈向长叙事视频
  • gentoo linux中安装希沃白板5
  • Docker技术简介
  • Longformer:处理长文档的Transformer模型
  • 6.二分算法
  • 舵机型号与识别
  • Go学习:Go语言中if、switch、for语句与其他编程语言中相应语句的格式区别
  • 三天急速通关JavaWeb基础知识:Day 2 前端基础知识(计划有变,前端工程化部分暂时搁置)
  • Vue.js 生命周期钩子在 Composition API 中的应用
  • 《解锁DeepSeek本地部署:开启你的专属AI之旅》
  • 绝对值线性化
  • 【python】python基于机器学习与数据分析的手机特性关联与分类预测(源码+数据集)【独一无二】
  • Flink2支持提交StreamGraph到Flink集群
  • 使用 cmake
  • 书生大模型实战营6
  • 动态规划每日一练(四)
  • 算法11(力扣496)-下一个更大元素I