Kafka基础概念
1.kafka概念
Producer：生产消息实例
Broker：管理和存储消息服务端服务器
Consumer：消费消息的实例
Record：kafka系统中的消息
2.kafka概念-主题
topic：主题，消息的类别
主要用于区别一个broker（服务器）中的不同消息的类别，方便于Consumer去订阅不同的主题，消费对应主题的消息
3.kafka概念-消费者和分区
当生产者生产消息数量过多，单机消费者无法满足消费需求，但是消费多机部署会产生重复消费消息。
原因：每个consumer无法区分消费了哪些消息。
解决方案：将topic做更细粒度的划分，叫做Partition，让每个partition只让一个消费者消费，那么就不会造成多个消费者消费同一条消息的情况了。
Partition：实际消息存储的地方，有序的队列。
Offset：偏移量，Record在Patition中的位置。
ConsumerGroup：共同处理消息的一组消费者实例。
但是在Partition之后，还是会造成消息重复消费的问题：
kafka重复消费消息的原因：已经消费了数据，但是offset并没有提交
kafka消息重复消费很大一部分原因是在于发生了再均衡
1）消费者宕机，重启等，导致消息已经消费，但是没有提交offset，那么offset就还是消息消费之前的offset，下一次消费者来消费，就会消费上次已经消费的消息。
2）消费者使用自动提交offset，但当还没有提交的时候，有新的消费者加入或移除，发生了rebalance。再次消费的时候，消费者会根据提交的偏移量来，于是重复消费了消息。
3）消息处理耗时，或者消费者拉取的消息量太多，处理耗时，超过了max.poll.interval.ms的配置时间，导致认为当前消费者已经死掉，触发了rebalance。
Rebalance：Broker为Consumer重新分配Partition的一个过程。
4.kafka概念-位点
场景：随着时间的增加，消息占用了很多磁盘空间。
解决方案：消息总量达到了设置大小，或者设置时间，就删除这些消息。
在Partition中有三个概念：
earlistOffset：第一条有效的消息的Offset，也就是消费者开始消费这个Partition时的第一条消息
GroupOffset：ConsumerGroup中的对应的消费者所消费到的Offset。
latestOffset：最后一条数据的Offset
5.kafka概念-Replication&Cluster
场景：机器故障，该机器上的消息丢失
解决方案：部署多台Broker，消息根据partition在不同机器之间进行备份
集群：一组broker组成集群
Replication：消息的备份
6.kafka拓扑模型
