目录

 

Flume：

zokeeper：

hive (启动hive必须先启动hdfs和yarn)：

HBASE ：

kafka：

storm：

spark：

---

Flume：

启动agent

flume-ng agent -n a1 -c conf -f conf/myconf/exec.conf -Dflume.root.logger=INFO,console


bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console

/**
*--conf conf/  ：表示配置文件存储在conf/目录
*	--name a1	：表示给agent起名为a1
*	--conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-
*         telnet.conf文件。
*	-Dflume.root.logger==INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属
*         性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。
*/

//停止agent就直接杀死进程就ok了

 

zokeeper：

启动zookeeper

bin/zkServer.sh start

查看zookeeper状态

bin/zkServer.sh status


//状态信息，Mode应有一个leader和若干个follower
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower

启东zkclient

bin/zkCli.sh

 客户端常见命令及功能概述

命令基本语法	功能描述
help	显示所有操作命令
ls path [watch]	使用 ls 命令来查看当前znode中所包含的内容
ls2 path [watch]	查看当前节点数据并能看到更新次数等数据
create	普通创建 -s  含有序列 -e  临时（重启或者超时消失）
get path [watch]	获得节点的值
set	设置节点的具体值
stat	查看节点状态
delete	删除节点
rmr	递归删除节点

hive (启动hive必须先启动hdfs和yarn)：

//启动hive
bin/hive
//查看数据库
hive> show databases;
//打开默认数据库
hive> use default;
//显示default数据库中的表
hive> show tables;
//创建一张表
hive> create table student(id int, name string);
//显示数据库中有几张表
hive> show tables;
//查看表的结构
hive> desc student;
//向表中插入数据
hive> insert into student values(1000,"ss");
//查询表中数据
hive> select * from student;
//退出hive
hive> quit;

HBASE ：

HBASE的启动需要先启动zookeepe、hdfs、yarn

bin/zkServer.sh start

start-dfs.sh

start-yarn.sh

启动方式1

//先启动master
bin/hbase-daemon.sh start master    
//启动regionserver
bin/hbase-daemon.sh start regionserver

 提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。

启动方式2

bin/start-hbase.sh

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=128m; support was removed in 8.0

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0

如果出现以上错误，修改hbase-env.sh，注释掉对应的vm的参数，因为jdk1.8是免配的

对应的停止服务：

bin/stop-hbase.sh

进入客户端

bin/hbase shell

 help大法好

hbase(main):012:0> help

kafka：

启动命令（kafka需要依次在各个节点进行启动，可以自己写脚本批量启动）

bin/kafka-server-start.sh  config/server.properties

停止命令（kafka需要依次在各个节点进行停止，可以自己写脚本批量停止）

bin/kafka-server-stop.sh

操作命令

//查看当前服务器中的所有
topicbin/kafka-topics.sh --list --zookeeper  myhadoop200:2181
//创建topic
bin/kafka-topics.sh --create --zookeeper myhadoop200:2181 --replication-factor 1 --partitions 3 --topic test 
//删除topicsh 
bin/kafka-topics.sh --delete --zookeeper myhadoop200:2181 --topic test
//需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
//通过shell命令发送消息
kafka-console-producer.sh --broker-list myhadoop200:9092 --topic test 
//通过shell消费消息sh 
bin/kafka-console-consumer.sh --zookeeper myhadoop200:2181 --from-beginning --topic test
//查看消费位置sh 
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper myhadoop200:2181 --group testGroup
//查看某个Topic的详情sh 
bin/kafka-topics.sh --topic test --describe --zookeeper myhadoop200:2181123456789101112131415

 

storm：

启动集群

 

关闭集群 
storm貌似没有提供停止集群的命令，我一般是通过kill命令直接杀死

 

kill -9 $(ps -ef|grep nimbus| awk '{print $2}')
kill -9 $(ps -ef|grep supervisor | awk '{print $2}')12

操作命令：

 

//提交任务命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
//杀死任务命令格式：storm kill 【拓扑名称】 -w 10（执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间）
storm kill topology-name -w 10
//停用任务命令格式：storm deactivte  【拓扑名称】
storm deactivte topology-name
//我们能够挂起或停用运行中的拓扑。当停用拓扑时，所有已分发的元组都会得到处理，但是spouts的nextTuple方法不会被调用。销毁一个拓扑，可以使用kill命令。它会以一种安全的方式销毁一个拓扑，首先停用拓扑，在等待拓扑消息的时间段内允许拓扑完成当前的数据流。
//启用任务命令格式：storm activate【拓扑名称】
        storm activate topology-name
//重新部署任务命令格式：storm rebalance  【拓扑名称】
        storm rebalance topology-name
//再平衡使你重分配集群任务。这是个很强大的命令。比如，你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑，然后在相应超时时间之后重分配工人，并重启拓扑。123456789101112

 

spark：

启动

 

$SPARK_HOME/sbin/start-all.sh

停止

 

$SPARK_HOME/sbin/stop-all.sh1

 

LogStash

启动