如何保证kafka生产者数据可靠性

ack参数的设置：

0：生产者发送过来的数据，不需要等数据落盘应答

假如发送了Hello 和 World两个信息，Leader直接挂掉，数据就会丢失

生产者 ---> Kafka集群 一放进去就跑

数据可靠性分析：丢数

1：生产者发送过来的数据，Leader收到数据后应答

生产者把数据发送给了Leader，Leader保存成功，应答完毕，此时生产者就以为数据发送成功了，但是此时，Leader挂了，但是Follower 并没有同步数据过来，Follower此时变成了Leader, 此时的Leader就没有Hello这个数据了，数据丢失了。

-1（all）：生产者发送过来的数据，Leader和ISR队列里面的所有节点收齐数据后应答。

Leader收到数据，所有Follower都开始同步数据， 但有一个Follower，因为某种故障，迟迟不能与Leader进行同步，那这个问题怎么解决呢？

解决方案：

Leader维护了一个动态的in-sync replica set（ISR），意为和 Leader保持同步的Follower+Leader集合(leader：0，isr:0,1,2)。

如果Follower长时间未向Leader发送通信请求或同步数据，则该Follower将被踢出ISR。该时间阈值由replica.lag.time.max.ms参数设定，默认30s。例如2超时，(leader:0, isr:0,1)。 这样就不用等长期联系不上或者已经故障的节点。

数据可靠性分析：

如果分区副本设置为1个（只有一个leader），或者ISR里应答的最小副本数量 （ min.insync.replicas 默认为1）设置为1，和ack=1的效果是一样的，仍然有丢数的风险（leader：0，isr:0）。

• 数据完全可靠条件 = ACK级别设置为-1 + 分区副本大于等于2 + ISR里应答的最小副本数量大于等于2

副本数是2，但是ISR中不一定有两个，因为会挂掉。

可靠性总结：

acks=0，生产者发送过来数据就不管了，可靠性差，效率高；

acks=1，生产者发送过来数据Leader应答，可靠性中等，效率中等；

acks=-1，生产者发送过来数据Leader和ISR队列里面所有Follwer应答，可靠性高，效率低；

在生产环境中，acks=0很少使用；acks=1，一般用于传输普通日志，允许丢个别数据；

acks=-1，一般用于传输和钱相关的数据，对可靠性要求比较高的场景。