5、Kafka的整体结构图

• Producer ：消息生产者，就是向 kafka broker 发消息的客户端。
• Consumer ：消息消费者，向 kafka broker 取消息的客户端
• Topic ：名称。
• Consumer Group （CG）：这是 kafka 用来实现一个 topic 消息的广播（发给所有的 consumer）手段。一个 topic 可以有多个 CG。topic 的消息会复制（不是真的复制，是概念上的）到所有的 CG 。用 CG 还可以将 consumer 进行自由的分组而不需要多次发送消息到不同的 topic。
• Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。
• Partition：为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列。partition 中的每条消息都会被分配一个有序的 id（offset）。kafka 只保证按一个 partition 中的顺序将消息发给 consumer，不保证一个 topic 的整体（多个 partition 间）的顺序。
• Replication：Kafka 支持以 Partition 为单位对 Message 进行冗余备份，每个 Partition 都可以配置至少 1 个 Replication(当仅 1 个 Replication 时即仅该 Partition 本身)。
• Leader：每个 Replication 集合中的 Partition 都会选出一个唯一的 Leader，所有的读写请求都由Leader 处理。其他 Replicas 从 Leader 处把数据更新同步到本地。每个 Cluster 当中会选举出一个 Broker 来担任 Controller，负责处理 Partition 的 Leader 选举，协调 Partition 迁移等工作。
• ISR(In-Sync Replica)：是 Replicas 的一个子集，表示目前 Alive 且与 Leader 能够“Catch-up”的Replicas 集合。读写都是首先落到Leader上。

Kafka的选举机制

Kafka的Leader是什么

• 首先Kafka会将接收到的消息分区（partition），每个主题（topic）的消息有不同的分区。
• 为了保证高可用，每个分区都会有一定数量的副本（replica）。这样如果有部分服务器不可用，副本所在的服务器就会接替上来，保证应用的持续性。
• 为了保证较高的处理效率，消息的读写都是在固定的一个副本上完成。这个副本就是所谓的Leader，而其他副本则是Follower。而Follower则会定期地到Leader上同步数据。

Leader选举

• Kakfa Broker集群受Zookeeper管理。
• 所有的Kafka Broker节点一起去Zookeeper上注册一个临时节点，因为只有一个Kafka Broker会注册成功，其他的都会失败，
  • 这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller
  • 其他的Kafka broker叫Kafka Broker follower。（这个过程叫Controller在ZooKeeper注册Watch）。
• 一旦有一个broker宕机了怎么办？
  • 这个kafka broker controller会读取该宕机broker上所有的partition在zookeeper上的状态，并选取ISR列表中的一个replica作为partition leader，这个broker宕机的事情，kafka controller也会通知zookeeper，zookeeper就会通知其他的kafka broker。