flume 对接 kafka 报错:Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION}

特此写篇博客记录一下自己一个 sb 的问题(看见日志以后熟视无睹,反而以为框架有问题了)

在写用 flume 获取 hive 日志中的文件,在拦截器种依据 INFO、WARN、ERROR、DEBUG 设置成不同的 topic,然后传到 kafka 中,传输过程中报了 Error while fetching metadata with correlation id 35 : {=INVALID_TOPIC_EXCEPTION} 这个错误,日志写的清清楚楚=INVALID_TOPIC_EXCEPTION,即空字符串是不合法的 Topic,这是因为自己在拦截器中代码逻辑有问题,导致拦截器传递了空的 topic,才导致了这个问题,改变拦截器的逻辑就解决问题了。

遇到错误一定要相信日志!!!!!!!

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐