当前位置：首页 > article >正文

隨便 20241028 ISR 和 OSR 在 Kafka 中的详细解析

article 2024/10/31 22:08:38

在 Kafka 这个分布式流处理平台中，副本的管理和数据一致性是至关重要的。为了保证系统的高可用性和容错能力，Kafka 引入了两个关键的概念：ISR（In-Sync Replicas）和OSR（Out-of-Sync Replicas）。下面将详细解析这两个概念及其在 Kafka 中的作用。

什么是 ISR（In-Sync Replicas）

ISR 是指与 Leader 节点保持同步的副本列表。这些副本成功地复制了 Leader 上的所有消息，且在数据更新上与 Leader 保持一致。

重要性：只有 ISR 中的副本被认为是安全的，能够提供高可用性。在 Leader 节点发生故障时，ISR 中的副本可以迅速被选为新的 Leader，从而继续处理消息和提供服务。
动态更新：当 Follower 副本成功接收到 Leader 的消息时，它们会被添加到 ISR 中。如果 Follower 无法及时跟上 Leader（例如，因网络延迟或负载过重），它们会被移出 ISR。

什么是 OSR（Out-of-Sync Replicas）

OSR 并不是 Kafka 官方文档中定义的一个正式副本列表，而是用来描述那些与 Leader 节点数据不一致、滞后的副本。OSR 指的是未能与 Leader 节点保持同步的副本。

状态描述：OSR 的副本可能因多种原因落后于 Leader，例如网络问题、磁盘 I/O 性能不佳等。这些副本在系统故障时不能被选为新的 Leader，因为它们的数据不完整。
恢复机制：当 OSR 副本成功追赶上 Leader 的更新后，它们可以被重新加入到 ISR 中。这个过程确保了系统在副本恢复时的高可用性和数据一致性。

ISR 和 OSR 之间的关系

动态性：副本的状态是动态变化的，随着数据的写入和同步情况的变化，副本会在 ISR 和 OSR 之间移动。比如，当 Follower 副本未能及时复制 Leader 的消息时，它们将从 ISR 中移除并转为 OSR。
高可用性保障：只有在 ISR 中的副本被认为是“健康的”，能够参与到 Leader 的选举中。这确保了系统的可靠性和容错能力。
数据一致性：ISR 中的副本确保了 Kafka 系统的数据一致性，消费者只能读取到 ISR 中的消息，而 OSR 中的消息则不被视为可用。