极速全场景 MPP数据库starrocks介绍

目录

一、引子

二、起源

（一）前身

（二）定位

三、特点

（一）高性能架构

（二）实时分析

（三）高并发与扩展性

（四）兼容性与生态

四、架构

五、核心功能

六、同类型产品分析

一、引子

       官网：StarRocks | A High-Performance Analytical Database

       中文官网：StarRocks | StarRocks

       starrocks是我们最近几年才使用的，我们目前的组合是flink+paimon+starrocks。今天先说下starrocks，如有出入，欢迎批评指正。

       我们使用starrocks的目的主要是用来提高查询效率，因为其查询速度比较快。StarRocks 号称是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。

二、起源

（一）前身

       原名 DorisDB，是基于 Apache Doris（原百度 Palo）分支优化而来，由鼎石科技团队维护，2021年正式更名为 StarRocks。

（二）定位

       解决传统 OLAP 系统在高并发、实时性、复杂查询等方面的瓶颈，提供一体化的实时分析解决方案。

三、特点

（一）高性能架构

• MPP（大规模并行处理）架构：将查询任务分布式执行，充分利用集群资源。
• 向量化执行引擎：通过 SIMD 指令批量处理数据，提升 CPU 利用率。
• CBO（成本优化器）：基于统计信息的智能查询优化，自动选择最优执行计划。
• 列式存储：高效压缩数据，减少 I/O 开销，适合聚合查询。

（二）实时分析

• 秒级数据摄入：支持 Kafka、Flink 等实时数据接入，数据写入即可查。
• 更新能力：支持 Upsert（Update+Insert）操作，适应频繁更新的场景（如用户行为分析）。

（三）高并发与扩展性

• 弹性扩缩容：计算与存储分离，可独立扩展节点，支持 PB 级数据。

• 多副本机制：通过数据多副本保障高可用，自动故障恢复。

（四）兼容性与生态

• MySQL 协议兼容：可直接使用 MySQL 客户端或工具（如 BI 软件）连接。
• 多数据源对接：支持 Hive、Iceberg、Hudi 等数据湖表，以及 Elasticsearch 联邦查询。

• 物化视图：预计算加速高频查询，自动匹配最优视图。

四、架构

     StarRocks 采用无状态架构，主要组件包括：

1. FE（Frontend）：
   • 负责元数据管理、查询解析、调度和优化。
   • 主从架构（Leader/Follower），通过 Berkeley DB 实现元数据高可用。
2. BE（Backend）：
   • 数据存储与计算节点，处理查询执行和数据压缩。
   • 数据按分片（Tablet）分布式存储，支持多副本。
3. Broker（可选）：
   • 用于访问外部存储系统（如 HDFS、S3）。

五、核心功能

• 实时数据写入：支持 Stream Load、Routine Load 等方式实时导入数据。
• 复杂查询优化：高效执行多表 JOIN、子查询、窗口函数等复杂 SQL。
• 资源隔离：通过资源组（Resource Group）限制查询资源，避免大查询影响线上业务。
• 数据湖分析：直接查询 Hive、Iceberg 等外部表，无需数据迁移。

六、同类型产品分析