当前位置：首页 > article >正文

ES 8分片分配迁移和恢复

article 2024/10/21 18:15:52

Elasticsearch 中的每个索引被划分为一个或多个分片。索引中的每个文档都属于一个单独的分片。

集群可以包含多个分片的副本。每个分片有一个特别的副本称为主分片，以及零个或多个非主副本称为副本分片。主分片副本作为所有索引操作的主要入口点。主分片副本上的操作随后会被转发到其副本分片。

副本分片在集群的节点之间维护数据的冗余副本，以防硬件故障，并增加处理读请求（如搜索或检索文档）的容量。如果主分片副本失败，那么一个副本分片会被提升为主分片，并接管主分片的责任。

在正常操作过程中，Elasticsearch 会在节点之间分配分片副本，为了平衡集群或满足新的分配约束而跨节点迁移分片副本，并恢复分片以初始化新的副本。在本主题中，你将了解这些操作是如何工作的，以及如何控制它们。

要了解如何优化集群中分片的数量和大小，请参阅调整分片大小。要了解读写操作如何跨分片和分片副本复制，请参阅读写文档。

分片分配是将分片副本分配给节点的过程。这可能发生在初始恢复、副本分配、重新平衡、向集群添加或移除节点时，或者当影响分配的集群或索引设置被更新时。

默认情况下，索引的主分片和副本分片可以分配给集群中的任何节点，并且可能会被迁移以重新平衡集群。

你可以使用以下设置来控制分片副本的分配：

分片恢复是初始化分片副本的过程，例如从快照恢复主分片或从主分片创建副本分片。当分片恢复完成时，恢复的分片将可用于搜索和索引。

恢复会在以下过程中自动发生：

你可以使用恢复或 cat recovery API 来确定分片恢复的原因。

你可以使用以下 API 来监控分片分配：

分片迁移是将分片副本从一节点移动到另一节点的过程。这可能发生在节点加入或离开集群时，或者当集群正在重新平衡时。

当分片副本被迁移时，它会在目标节点上作为新的分片副本被创建。当分片副本完全分配和恢复后，旧的分片副本将被删除。如果被迁移的分片副本是主分片，那么新的分片副本在旧分片副本被删除之前会被标记为主分片。

你可以控制分片副本如何以及何时被迁移。例如，你可以调整控制何时迁移分片副本以平衡集群的重新平衡设置，或者可能触发迁移的基于磁盘的分片分配的高水位设置。这些设置是集群级别分片分配设置的一部分。

分片迁移操作还尊重分片分配和恢复设置。

分片定义：
Elasticsearch中的分片（Shard）是数据分布和查询的基本单元。一个索引可以被分成多个分片，这些分片可以分布在集群的不同节点上，以提高数据的可扩展性和查询性能。
分片和副本：
每个分片都可以配置副本分片（Replicas），副本分片的数量直接影响数据的可靠性和查询的负载能力。副本分片允许Elasticsearch在分片所在节点故障时仍然提供查询服务，并且可以在多个节点上并行执行查询，提高性能。
分片分配：
Elasticsearch在集群中自动分配分片，这个过程考虑了集群的状态和配置。分片分配策略确保分片均匀分布在所有节点上，以平衡负载和优化资源利用。
分片迁移：
当集群中添加新节点或移除节点时，Elasticsearch会自动迁移分片以重新平衡集群。这个过程称为分片迁移（Shard Relocation），它是集群自我修复和扩展的一部分。
分片大小：
每个分片的最大大小应该控制在一定的范围内，通常建议不超过50GB。过大的分片会增加恢复时间和维护成本，而过小的分片则会增加资源开销和复杂性。
分片不可变性：
一旦索引创建，其主分片数量数量就不能再更改。如果需要调整这些设置，必须创建一个新的索引并将数据重新索引到新索引中。这也是为什么在创建索引时要仔细规划分片数量的原因。