使用openmessaging-benchmark测试kafka
openmessaging-benchmark使用笔记一,介绍二,安装三,使用不带kerberos的Kafka带kerberos 的kafka一,介绍openmessaging-benchmark可以方便的对kafka等分布式消息系统进行测试。参考官网:http://openmessaging.cloud/docs/benchmarks二,安装git clone https://git...
·
openmessaging-benchmark使用笔记
一,介绍
openmessaging-benchmark可以方便的对kafka等分布式消息系统进行测试。
参考官网:http://openmessaging.cloud/docs/benchmarks
二,安装
git clone https://github.com/openmessaging/openmessaging-benchmark
cd openmessaging-benchmark
mvn install
如果插件无法下载可以在pom.xml文件中将相应的插件注释掉。
三,使用
不带kerberos的Kafka
修改driver-kafka/kafka.yaml 中的bootstrap.servers 值为自己的kafka地址即可。
执行命令启动任务:
bin/benchmark \
--drivers driver-kafka/kafka.yaml \
workloads/1-topic-16-partitions-1kb.yaml
带kerberos 的kafka
1, 修改bin/benchmark 文件,通过 Java -D 设置包含认证信息的jaas文件。
-Djava.security.auth.login.config=/opt/openmessaging-benchmark/ker/jaas.conf
if [ -d "./lib" ]; then
CLASSPATH=$CLASSPATH:lib/*
else
CLASSPATH=benchmark-framework/target/classes:`cat benchmark-framework/target/classpath.txt`
fi
JVM_MEM="-Xms4G -Xmx4G -XX:+UseG1GC"
JVM_GC_LOG=" -XX:+PrintGCDetails -XX:+PrintGCApplicationStoppedTime -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=64m -Xloggc:/dev/shm/benchmark-client-gc_
%p.log"
java -Djava.security.auth.login.config=/opt/openmessaging-benchmark/ker/jaas.conf -server -cp $CLASSPATH $JVM_MEM io.openmessaging.benchmark.Benchmark $*
2, 修改 driver-kafka/kafka.yaml 文件在其中加入kerberos相关配置。
name: Kafka_hdf
driverClass: io.openmessaging.benchmark.driver.kafka.KafkaBenchmarkDriver
# Kafka client-specific configuration
replicationFactor: 3
topicConfig: |
min.insync.replicas=1
commonConfig: |
bootstrap.servers=${broker_list}
security.protocol=SASL_PLAINTEXT
producerConfig: |
acks=all
linger.ms=1
batch.size=131072
security.protocol=SASL_PLAINTEXT
connections.max.idle.ms = 300000
consumerConfig: |
auto.offset.reset=earliest
enable.auto.commit=false
security.protocol=SASL_PLAINTEXT
更多推荐
已为社区贡献3条内容
所有评论(0)