(八)kafka的性能测试
kafka的压力测试压力测试都是针对整个集群的,如果想测试单节点的性能,可以创建topic指定分区都在同一节点进行测试1:生产者压测kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.pr
·
kafka的性能测试
性能测试可进行分区数测试,生产和消费压力测试等
压力测试都是针对整个集群的,如果想测试单节点的性能,可以创建topic指定分区都在同一节点进行测试
1:生产者压测
kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.properties
--num-records:生产的条数
--record-size每条消息的大小,bytes
--throughput :每秒发送的条数,-1是不限速
可以看到最终的生产速度。性能瓶颈可能是网络,cpu,内存,分区数等等
单节点速度测试
即指定一个服务器的broker.id进行创建
kafka-topics.sh --zookeeper ip:port --topic test --replica-assignment 3,3,3,3
创建后查看,发现都在同一服务器,随后进行压测就是同一节点的生产速度和消费速度
kafka-topics.sh --zookeeper ip:port --topic test --describe
2:消费者压测
./bin/kafka-consumer-perf-test.sh --broker-list ip:port --messages 2000000 --topic test --new-consumer --consumer.config ../config/consumer.properties
版本可以用bin/kafka-consumer-perf-test.sh --help查看具体使用
3:分区数性能测试
1:先创建测试的多个topic
2:生产者测试:bin/kafka-producer-perf-test.sh --topic topic --num-records 1000000 --record-size 20480 --throughput 30000 --producer-props bootstrap.servers=“server01” acks=1
3:消费测试:bin/kafka-consumer-perf-test.sh --topic test5 --messages 100000 --broker-list “kafka-node1,kafka-node2”
4:如何选择合适的partition数量
需要根据生产或者消费的吞吐量进行评估,消费的吞吐量瓶颈一般在消息的逻辑处理速度
更多推荐
已为社区贡献4条内容
所有评论(0)