Kafka Connect 日志配置
笔者之前启动kafka connect进程后,发现过一段时间,日志太大。启动kafka connect的命令如下:cd/home/tidb/confluent-4.1.1./bin/connect-distributed -daemon ./etc/schema-registry/connect-avro-distributed.properties但是会在如下目录生成一个con...
笔者之前启动kafka connect进程后,发现过一段时间,日志太大。
启动kafka connect的命令如下:
cd /home/tidb/confluent-4.1.1
./bin/connect-distributed -daemon ./etc/schema-registry/connect-avro-distributed.properties
但是会在如下目录生成一个connectDistributed.out
文件,并且随着时间流逝,会变得很大。
root@ubuntu-100:/home/tidb/confluent-4.1.1/logs# ls -lh
total 1.3M
-rw-r--r-- 1 root root 280M Sep 21 15:15 connectDistributed.out
-rw-r--r-- 1 root root 363K Sep 21 15:15 schema-registry.log
-rw-r--r-- 1 root root 318K Sep 21 15:15 schemaRegistry.out
因此笔者希望能够配置成Daily Rolling的形式,每天生成一个输出文件。
通过如下命令,查看到了kafka connect的配置文件路径:
root@ubuntu-100:/home/tidb/confluent-4.1.1/bin# ./connect-distributed -h
[2018-09-21 15:14:51,314] INFO Kafka Connect distributed worker initializing ... (org.apache.kafka.connect.cli.ConnectDistributed:63)
[2018-09-21 15:14:51,330] INFO WorkerInfo values:
jvm.args = -Xms256M, -Xmx2G, -XX:+UseG1GC, -XX:MaxGCPauseMillis=20, -XX:InitiatingHeapOccupancyPercent=35, -XX:+ExplicitGCInvokesConcurrent, -Djava.awt.headless=true, -Dcom.sun.management.jmxremote, -Dcom.sun.management.jmxremote.authenticate=false, -Dcom.sun.management.jmxremote.ssl=false, -Dkafka.logs.dir=./../logs, -Dlog4j.configuration=file:./../etc/kafka/connect-log4j.properties
jvm.spec = Oracle Corporation, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_171, 25.171-b11
从上面的输出-Dkafka.logs.dir=./../logs
可以看出生成的日志文件应该在bin
目录同级的logs
目录,事实上确实是这样的。从Dlog4j.configuration=file:./../etc/kafka/connect-log4j.properties
可以看出log4j的配置文件应该在bin
目录同级的etc
目录下的子目录kafka
中,配置文件名字为connect-log4j.properties
。
在connect-log4j.properties
配置文件中加入如下内容:
log4j.rootLogger=INFO, kafkaConnectAppender
log4j.appender.kafkaConnectAppender=org.apache.log4j.DailyRollingFileAppender
log4j.appender.kafkaConnectAppender.DatePattern='.'yyyy-MM-dd
log4j.appender.kafkaConnectAppender.File=/home/tidb/confluent-4.1.1/logs/kafka-connect.log
log4j.appender.kafkaConnectAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.kafkaConnectAppender.layout.ConversionPattern=[%d] %p %m (%c)%n
log4j.logger.org.apache.zookeeper=ERROR
log4j.logger.org.I0Itec.zkclient=ERROR
log4j.logger.org.reflections=ERROR
然后重启kafka connect(kafka connect似乎没有重启命令,笔者通过kill connectDistributed进程,然后再启动的),可以看到在/home/tidb/confluent-4.1.1/logs
目录下面确实有kafka-connect.log
文件生成,等跨天的时候应该就有按天命名的日志文件了。
更多推荐
所有评论(0)