当前位置: 首页 > article >正文

2024-02-04(hive)

1.Hive中的分区表

可以选择字段作为表分区。

分区其实就是HDFS上的不同文件夹。

分区表可以极大的提高特定场景下Hive的操作性能。

2.分区语法

create table tablename(...) partitioned by (分区列 列类型, ...)
row format delimited fields terminated by '';

3.Hive中的分桶表

 选择一个字段作为分桶字段

分桶表本质上是数据分开在不同的文件中

分区和分桶可以同时使用

4.为什么要用insert select的方式插入分桶表数据

需要insert select触发MapReduce进行hash取模计算,来基于分桶列的值,确定哪一条数据进入到哪一个桶文件中。

5.分桶表能带来什么性能提升?

在基于分桶列做操作的前提下:

单值过滤

JOIN

GROUP BY


http://www.kler.cn/a/232018.html

相关文章:

  • Jenkins-pipeline语法说明
  • RK3568笔记七十七:RTMP实时推流
  • Linux内核编程(二十一)USB驱动开发-键盘驱动
  • 9. 神经网络(一.神经元模型)
  • 细说STM32F407单片机电源低功耗StopMode模式及应用示例
  • 音频入门(一):音频基础知识与分类的基本流程
  • 缓存异常与一致性
  • 【GoLang入门教程】Go语言几种标准库介绍(五)
  • Linux的Vi编辑器显示行数
  • Vue中的自定义参数校验
  • cesium mapboxgl+threebox glb 朝向问题
  • 跨境电商新风潮:充分发挥海外云手机的威力
  • LeetCode、62.不同路径的数目(一)【简单,动态规划或递归】
  • 零售新业态,让老牧区焕发新生命
  • 【服务器数据恢复】HP EVA虚拟化磁盘阵列数据恢复原理方案
  • SpringBoot之事务源码解析
  • 使用网关过滤器,根据业务规则实现微服务动态路由
  • Java并发基础:LinkedTransferQueue全面解析!
  • Maven私服部署与JAR文件本地安装
  • 相机图像质量研究(10)常见问题总结:光学结构对成像的影响--光圈
  • Office恢复旧UI|Office UI问题|Word UI|小喇叭找不到
  • 《动手学深度学习(PyTorch版)》笔记7.2
  • Vue3.0(五):Vue-Router 4.x详解
  • 推动海外云手机发展的几个因素
  • 前端开发之deepmerge的使用和示例(对象的深度合并)
  • Docker-Learn(二)保存、导入、使用Docker镜像