今天我在Windows下写了一个scala代码,用spark去消费kafka的数据, 然后报Group coordinator cdhtest002.sendinfo.com:9092 (id: 2147483581 rack: null) is unavailable or invalid, will attempt rediscovery 这个错误,这个是集群(kafka)中ip和hostname对应关系没有配置,解决办法如下:

Windows下修改C:\Windows\System32\drivers\etc\hosts文件,添加ip hostname

Linux 下修改/etc/hostname文件,添加ip hostname

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐