kafka基础概念

什么是kafka

kafka百度百科

Kafka是由Apache软件基金会开发的一个 开源流处理平台 ，由Scala和Java编写。Kafka是一种 高吞吐量 的 分布式发布订阅消息系统 ，它可以处理消费者在网站中的所有动作流数据。

kafka的特性

• 通过 O(1) 的磁盘数据结构提供消息的 持久化 ，这种结构对于即使数以TB的消息存储也能够保持长时间的 稳定性能 。
• 高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
• 支持通过Kafka服务器和消费机集群来分区消息。

相关概念

• Broker : kafka集群有一个或多个服务器组成, 集群中每一个服务器节点称为一个broker
• Topic : 每条发布到Kafka集群的消息都有一个 类别 ，这个类别被称为Topic。可以类比mysql的数据表来理解,每一张表存储一类数据, 同理，每一个 Topic也存储一类数据
• Partition : Partition是物理上的概念，每个Topic包含一个或多个Partition.
• Producer : 消息生产者, 将消息写入到指定topic中
• Consumer : 消息消费者, 从kafka集群中读取topic中的消息
• Consumer Group : 消息的消费者组, 每个Consumer属于一个特定的Consumer Group, 多个消费者组之间互相隔离, 不指定group name则属于默认的group
• Offset : 消息的偏移量, 简单理解为当前消息的索引号即可

客户端

GO-Kafka客户端