启动kafka和flume的命令
测试Flume采集的数据能否同时发送到HBase和Kafka集群
·
测试Flume采集的数据能否同时发送到HBase和Kafka集群。
(1)启动Kafka
进入/home/hadoop/app/kafka目录,在hadoop01节点上启动消费者,启动命令如下所示。
>>> $ bin/kafka-console-consumer.sh--bootstrap-server localhost:9092 --topic sogoulogs
(2)启动Flume聚合服务
进入/home/hadoop/app/flume目录,在hadoop02和hadoop03节点上分别启动Flume服务,启动命令如下所示。
>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/avro-file-selector-hbase-
kafka.properties -Dflume.root.logger=INFO,console
(3)启动Flume采集服务
进入/home/hadoop/app/flume目录,在hadoop01节点上启动Flume服务,启动命令如下所示。
>>> $ bin/flume-ng agent -n agent1 -c conf -f conf/taildir-file-selector-avro.properties
-Dflume.root.logger = INFO,consloe
(4)准备测试数据
进入hadoop01节点所在的/home/hadoop/data/flume/logs目录,向监控日志sogou.log文件添加新数据,具体操作如下所示。
>>> $echo '00:00:11 19433525556885 [悉尼大学] 1 65 www.tommorow.edu.cn/' >> sogou.log
(5)查看数据结果
在hbase shell中,利用scan命令查看sogoulogs表中的数据,具体操作如下所示。
>>> $ bin/hbase shell
hbase(main):014:0 > scan 'sogoulogs'
在Kafka消费者控制台中,查看消费sogoulogs主题数据,具体操作如下所示。
>>> $ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sogoulogs
如果在HBase数据库和Kafka消息队列中都能查看到采集的数据,说明Flume成功采集了用户行为数据并写入了Kafka和HBase集群。
更多推荐
已为社区贡献1条内容
所有评论(0)