当前位置: 首页 > article >正文

吃透StarRock分区、分桶

简述

在StarRocks中,表被划分成多个Tablet,多副本场景下,每个Tablet多副本冗余存储在BE(Backend)上。

对于单分区表、数据在逻辑上划分为多个桶(Bucket),每个桶的数据称之为一个Tablet。

如果设置为单分区单桶,那么无论数据量大小,都只会有一个Tablet,因为所有数据都属于同一个桶。

分区的作用

分区裁剪(查询性能优化)

分区裁剪可以最大限度地利用集群的并发性能,提升查询性能。如果查询条件与分区键相关,优化器会生成更优的逻辑计划,减少扫描的数据量。

设定存储策略

将一张表按照分区键拆分成不同的管理单元,针对每一个管理单元选择相应的存储策略,比如分桶数、冷热策略、存储介质、副本数等。

分桶的作用

在StarRocks中,分桶是实际物理文件组织的单元。所以同一副本同一个桶的数据肯定在同一个物理节点中。

数据分布均匀

分桶可以将数据均匀地分布到集群的不同节点上,避免数据倾斜,确保查询负载均衡。

查询优化

分桶可以提高查询效率,特别是在执行join操作时,如果两个表在相同的分桶键上进行了分桶,并且它们被指定在同一个Colocation Group中,那么在执行join操作时可以减少数据的shuffle,提高查询性能。

提高数据插入效率

分桶可以提高数据插入效率,因为数据可以并行地插入到不同的桶中,减少了单个节点的负载。


http://www.kler.cn/a/379928.html

相关文章:

  • 全面解析:容器化技术及其应用
  • ubuntu20.04 加固方案-设置SSH是否使用业界认可的加密算法
  • Java中每个类都有个Class对象,那Class类有自己的Class对象吗?
  • django的models使用介绍。
  • 【MySQL工具】pt-archiver
  • Android:ViewPaper动态添加移除第一页
  • 【软考】Redis不同的数据类型和应用场景。
  • 【JavaEE初阶 — 多线程】Thread类的方法&线程生命周期
  • axios请求中的data和params的区别
  • 科普之使用Lableme图像标注—盲道分割与目标检测
  • 参数失配(Mismatch)
  • 文件系统上云的挑战
  • 计算机启动过程中各个步骤
  • w018基于Springboot的母婴商城系统
  • NLP领域的经典算法和模型
  • 从0开始搭建一个生产级SpringBoot2.0.X项目(八)SpringBoot 使用Redis
  • Java面向对象 C语言字符串常量
  • CSS 超出一行省略号...,适用于纯数字、中英文
  • 百货零售行业信息化蓝图整体规划方案|165页PPT
  • 深度强化学习(DRL)发展历程
  • 分布式数据库:核心概念、架构设计及应用实践
  • 记录一次node节点异常的排查
  • ssm校园线上订餐系统的设计与实现+vue
  • Linux: network: 环境:网络burst的一个原因,虚拟机感染病毒导致,外部网络设备太忙
  • 个人对Numpy中transpose()函数的理解
  • 利用Stable Diffusion技术,StableVision能够自动生成高质量、高分辨率的图像,满足用户对于图像素材的多样化需求。