Starrocks架构及如何选择

目录

存算一体架构

特点

适用场景

存算分离架构

特点

适用场景

架构选择建议

       StarRocks 介绍：极速全场景 MPP数据库starrocks介绍-CSDN博客

       StarRocks 架构简洁明了，整个系统仅由两种组件组成：前端和后端。前端节点称为 FE。后端节点有两种类型，BE 和 CN (计算节点)。当使用本地存储数据时，您需要部署 BE；当数据存储在对象存储或 HDFS 时，需要部署 CN。

       StarRocks 支持存算一体和存算分离两种架构，以下是介绍及选择建议。

存算一体架构

特点

节点组成：由 FE（前端节点）和 BE（后端节点）组成。FE 负责元数据管理、客户端连接管理、查询规划和调度；BE 负责数据存储和 SQL 执行。

数据存储：BE 节点使用本地存储，数据通过多副本机制存储在不同的 BE 节点中，以保证高可用性和数据可靠性。

查询性能：数据存储和计算都在 BE 节点本地完成，避免了数据传输和复制的延迟，提供了极快的查询和分析性能。

扩展性：节点可以在线水平扩展，但扩展性相对存算分离架构受限。

适用场景

适用于对查询性能要求极高，且数据量相对较小的场景，如实时数据仓库、高并发查询等。

存算分离架构

特点

节点组成：由 FE 和 CN（计算节点）组成。FE 的功能与存算一体架构中的相同，CN 节点负责数据计算任务和缓存热数据。

数据存储：数据存储在远端的低成本、高可靠对象存储（如 Amazon S3、GCP、Azure Blob Storage、MinIO 等）或 HDFS 上。

查询性能：CN 节点的本地磁盘用于缓存经常访问的热数据，当缓存命中时，查询性能可与存算一体架构相媲美。

扩展性：计算和存储资源可以独立扩展，支持动态添加或删除 CN 节点，实现秒级的扩缩容。

成本：降低了存储成本，因为数据存储在成本较低的对象存储或 HDFS 上。

适用场景

适用于数据量较大，需要灵活扩展存储和计算资源的场景，如数据湖分析、大规模数据分析等。

架构选择建议

性能优先：如果业务对查询性能要求极高，且数据量相对较小，存算一体架构可能是更好的选择，因为它能够提供更低的查询延迟。

成本和扩展性优先：如果数据量较大，需要灵活扩展存储和计算资源，或者希望降低存储成本，存算分离架构更具优势。

数据可靠性：两种架构都支持数据多副本存储，但在存算分离架构中，数据存储在远端存储系统中，可能在数据备份和恢复方面更具灵活性。

运维复杂度：存算一体架构相对简单，适合对运维要求不高的场景；存算分离架构由于涉及远端存储配置，可能需要更多的运维工作。