input {

kafka {

bootstrap_servers => ["192.168.1.1:9092"] # 注意这里配置的kafka的broker地址不是zk的地址

group_id => "logstash" # 自定义groupid

topics => ["ttt.log.topic"] # kafka topic 名称

consumer_threads => 5

decorate_events => true

codec => "json"

}

}

output {

elasticsearch { hosts => ["localhost:9200"] }

stdout { codec => rubydebug }

}

转载于:https://my.oschina.net/thomas2/blog/3017048

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐