业务需求,通过logstash解析日志后,需要发送一个份到kafka中。但在实际操作的时候发现一个很蛋疼的问题。就是logstash发送到kafka的数据竟然只是一个message。。对就是一个大括号包裹的message,其他什么都没有。。网上到处搜都没搜索相关问题,然后取官网看了看,发现一个codec插件很强大,用了一下果然能行。具体代码如下

 kafka {
          codec => json
          bootstrap_servers => "xxxx:9092"
          topic_id => "tomcat-log"
          codec => plain {
                format => "%{message}"
            }
       }
Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐