Kafka优化攻略详解
1、消息生产者(Producer):这是指那些向Kafka的broker发送消息的客户端应用程序。
2、消息消费者(Consumer):这是那些从Kafka的broker中提取消息的客户端应用程序。
3、消费者组(Consumer Group,CG):由多个消费者组成,每个消费者负责消费不同分区的数据,在消费者组内,每个分区只能被组内的一个消费者消费,而组间则互不干扰,所有消费者都属于某个消费者组,因此消费者组在逻辑上可以被视为一个订阅单元。
4、Broker:一台Kafka服务器就是一个broker,一个Kafka集群由多个broker组成,每个broker可以管理多个topic。
5、Topic:可以被理解为一种队列,生产者和消费者都是围绕同一个topic进行交互的。
6、Partition:为了实现横向扩展,一个巨大的topic可以被分布到多个broker(即服务器)上,一个topic可以包含多个partition,每个partition都是一个新的有序队列。
7、Replica:副本机制是为了保证在集群中的某个节点发生故障时,该节点上的partition数据不会丢失,并且Kafka仍然可以正常运行,每个topic的每个partition都有若干个副本,包括一个leader和若干个follower。
8、Leader:每个分区的多个副本中的一个,是生产者发送数据的目标,也是消费者消费数据的目标。
9、Follower:每个分区多个副本中的一个“跟随者”,它会实时从leader同步数据,以保持与leader的数据一致性,当leader发生故障时,某个follower将接管其角色,成为新的leader。
至此,关于Kafka优化攻略9的介绍就到这里,希望这篇内容能够为各位在了解Kafka的副本机制方面带来一些帮助。
发表评论