LinkedIn的开发团队主要由软件工程师Jay Kreps领导，他之前负责分布式键值存储系统Voldemort的开发和开源发布。最初的团队还包括Neha Narkhede和后来的Jun Rao。他们共同创建了一个消息系统，可以满足监控和跟踪系统的需求，并可以扩展到未来。主要目标是：
• 使用推拉模型将生产者和消费者分离
• 为消息传递系统中的消息数据提供持久性，以允许多个消费者
• 优化消息的高吞吐量
• 允许系统的水平扩展随着数据流的增长而增长

最终一个发布/订阅消息传递系统诞生了，它具有典型的消息传递系统接口，但存储层更像是一个日志聚合系统。结合使用Apache Avro进行消息序列化，Kafka可以有效地处理每天数十亿条消息的指标和用户活动跟踪。 Kafka的可扩展性帮助LinkedIn的使用量增长了超过1万亿条消息（截至2015年8月），每天消耗的数据超过1 PB。

Kafka于2010年底在GitHub上作为开源项目发布。随着它开始在开源社区引起关注，它于2011年7月被提议并被接受为Apache Software Foundation孵化器项目.Apache Kafka毕业于 孵化器于2012年10月开始。从那时起，它一直在努力，并在LinkedIn之外找到了一个强大的贡献者和提交者社区。 Kafka现在用于世界上一些最大的数据管道。 2014年秋天，Jay Kreps，Neha Narkhede和Jun Rao离开LinkedIn，找到了Confluent，一家以为Apache Kafka提供开发，企业支持和培训为中心的公司。这两家公司以及开源社区中其他公司不断增长的贡献，继续开发和维护Kafka，使其成为大数据流水线的首选。

人们经常会问Kafka如何得名，以及它是否与应用程序本身有关。 Jay Kreps提供了以下见解：
我认为，由于Kafka是一个针对写作优化的系统，使用作者的名字是有道理的。 我在大学里学过很多课程，并且喜欢弗兰兹卡夫卡。 此外，对于一个开源项目来说这个名字听起来很酷。

所以基本上没有多少关系。