测试Flume采集的数据能否同时发送到HBase和Kafka集群。

(1)启动Kafka

        进入/home/hadoop/app/kafka目录,在hadoop01节点上启动消费者,启动命令如下所示。

>>> $ bin/kafka-console-consumer.sh--bootstrap-server localhost:9092 --topic sogoulogs

(2)启动Flume聚合服务

        进入/home/hadoop/app/flume目录,在hadoop02和hadoop03节点上分别启动Flume服务,启动命令如下所示。

>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/avro-file-selector-hbase-        
      kafka.properties -Dflume.root.logger=INFO,console 

(3)启动Flume采集服务

        进入/home/hadoop/app/flume目录,在hadoop01节点上启动Flume服务,启动命令如下所示。

>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/taildir-file-selector-avro.properties 
      -Dflume.root.logger = INFO,consloe

(4)准备测试数据

        进入hadoop01节点所在的/home/hadoop/data/flume/logs目录,向监控日志sogou.log文件添加新数据,具体操作如下所示。

>>> $echo '00:00:11 19433525556885 [悉尼大学] 1 65 www.tommorow.edu.cn/' >> sogou.log

(5)查看数据结果

        在hbase shell中,利用scan命令查看sogoulogs表中的数据,具体操作如下所示。

>>> $ bin/hbase shell
hbase(main):014:0 > scan 'sogoulogs'

        在Kafka消费者控制台中,查看消费sogoulogs主题数据,具体操作如下所示。

>>> $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sogoulogs

        如果在HBase数据库和Kafka消息队列中都能查看到采集的数据,说明Flume成功采集了用户行为数据并写入了Kafka和HBase集群。

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐