我们使用springboot 2.1.3版本

 <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.3.RELEASE</version>
        <relativePath /> <!-- lookup parent from repository -->
    </parent>

 查看springboot的官网,对kafka的定义

https://spring.io/projects/spring-kafka#overview

Spring for Apache Kafka(Spring Kafka)项目将核心的Spring概念应用到基于Kafka的消息传递解决方案的开发中。它提供了一个“模板”,作为发送消息的高级抽象。它还支持带有@kafkalistener注释和“监听器容器”的消息驱动POJO。这些库促进依赖注入和声明性的使用。在所有这些情况下,您将看到与Spring框架中的JMS支持和SpringAMQP中的rabbitmq支持的相似之处。

大概就是这么个意思吧;特性的话,也说了,提供模板类,消费的监听,生产的事务,测试

  • KafkaTemplate

  • KafkaMessageListenerContainer

  • @KafkaListener

  • KafkaTransactionManager

  • spring-kafka-test

构建以个kafka的项目

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

定义yml配置文件,关于kafka的参数的详细定义,可以参考

《kafka-producer参数详细》《kafka--consumer参数》

spring:
  kafka:
    bootstrap-servers:
    - 172.16.2.54:9092
    consumer:
      group-id: test
      enable-auto-commit: true
      auto-commit-interval: 1000
      auto-offset-reset: earliest
      client-id: test

定义生产者代码,通过定时器,不断写入数据

@Component
@EnableScheduling
public class KafkaProducer {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * 定时任务
     */
    @Scheduled(cron = "0/1 * * * * ?")
    public void send() {
        String message = UUID.randomUUID().toString();
        ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send("test", message);
        future.addCallback(o -> System.out.println("send-消息发送成功:" + message),
                throwable -> System.out.println("消息发送失败:" + message));
    }

}

定义消费端代码

@Component
public class KafkaConsumer {

    @KafkaListener(topics = { "test" })
    public void consumer(ConsumerRecord<String, String> consumerRecord) {
        System.out.println("消息消费--》" + consumerRecord.value());
    }
}

然后直接启动springboot的启动类就可以了,这样就对kafka整合完成了。

最后,关于springboot对kafka的自动装配参看 org.springframework.boot.autoconfigure.kafka.KafkaAutoConfiguration.class

@Configuration
@ConditionalOnClass(KafkaTemplate.class)
@EnableConfigurationProperties(KafkaProperties.class)
@Import({ KafkaAnnotationDrivenConfiguration.class,
		KafkaStreamsAnnotationDrivenConfiguration.class })
public class KafkaAutoConfiguration {

大概可以自己看下,自动注入了哪些类,需要定制化,重写就可以了

特别注意下

@Import({ KafkaAnnotationDrivenConfiguration.class,
		KafkaStreamsAnnotationDrivenConfiguration.class })

KafkaAnnotationDrivenConfiguration这个类

@Configuration
@ConditionalOnClass(EnableKafka.class)
class KafkaAnnotationDrivenConfiguration {

有的说,需要加@EnableKafka注解,才能开启kafka的功能,这个类,就是不用开启注解,也能生效

主要也是装配了,在最后,大概可以自己去看

@Configuration
	@EnableKafka
	@ConditionalOnMissingBean(name = KafkaListenerConfigUtils.KAFKA_LISTENER_ANNOTATION_PROCESSOR_BEAN_NAME)
	protected static class EnableKafkaConfiguration {

	}

好了,就到这里,原理啥的,就不解释了,kafka是个比较复杂的东西,搞深入,还是需要时间的

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐