当前位置: 首页 > article >正文

2024-02-04(hive)

1.Hive中的分区表

可以选择字段作为表分区。

分区其实就是HDFS上的不同文件夹。

分区表可以极大的提高特定场景下Hive的操作性能。

2.分区语法

create table tablename(...) partitioned by (分区列 列类型, ...)
row format delimited fields terminated by '';

3.Hive中的分桶表

 选择一个字段作为分桶字段

分桶表本质上是数据分开在不同的文件中

分区和分桶可以同时使用

4.为什么要用insert select的方式插入分桶表数据

需要insert select触发MapReduce进行hash取模计算,来基于分桶列的值,确定哪一条数据进入到哪一个桶文件中。

5.分桶表能带来什么性能提升?

在基于分桶列做操作的前提下:

单值过滤

JOIN

GROUP BY


http://www.kler.cn/a/232018.html

相关文章:

  • 【Chapter 3】Machine Learning Classification Case_Prediction of diabetes-XGBoost
  • 智能化运维与AI/ML辅助决策:实现自动化与预测优化
  • 高级数据结构——hash表与布隆过滤器
  • vue3 element el-table实现表格动态增加/删除/编辑表格行,带有校验规则
  • Hadoop生态圈框架部署(六)- HBase完全分布式部署
  • 图像深度与像素深度的辨析
  • 缓存异常与一致性
  • 【GoLang入门教程】Go语言几种标准库介绍(五)
  • Linux的Vi编辑器显示行数
  • Vue中的自定义参数校验
  • cesium mapboxgl+threebox glb 朝向问题
  • 跨境电商新风潮:充分发挥海外云手机的威力
  • LeetCode、62.不同路径的数目(一)【简单,动态规划或递归】
  • 零售新业态,让老牧区焕发新生命
  • 【服务器数据恢复】HP EVA虚拟化磁盘阵列数据恢复原理方案
  • SpringBoot之事务源码解析
  • 使用网关过滤器,根据业务规则实现微服务动态路由
  • Java并发基础:LinkedTransferQueue全面解析!
  • Maven私服部署与JAR文件本地安装
  • 相机图像质量研究(10)常见问题总结:光学结构对成像的影响--光圈
  • Office恢复旧UI|Office UI问题|Word UI|小喇叭找不到
  • 《动手学深度学习(PyTorch版)》笔记7.2
  • Vue3.0(五):Vue-Router 4.x详解
  • 推动海外云手机发展的几个因素
  • 前端开发之deepmerge的使用和示例(对象的深度合并)
  • Docker-Learn(二)保存、导入、使用Docker镜像