ELK日志排序混乱
1、现象环境使用的是7.4,filebeat,kafka,logstash,es排序字段是@timestamp,由于是filebeat批量收集提交的,所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序,有部分时间的日志在中间,如下图2、分析@timestamp字段是经过filebeat处理时添加的,可以通过修改filebeat配置文件,把收集后的日志输出到本地文件,可
·
1、现象
环境使用的是7.4,filebeat,kafka,logstash,es
排序字段是@timestamp,由于是filebeat批量收集提交的,所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序,有部分时间的日志在中间,如下图
2、分析
@timestamp字段是经过filebeat处理时添加的,可以通过修改filebeat配置文件,把收集后的日志输出到本地文件,可以看出来多了时间字段。
3、解决方案
这里采用logstash重写@timestamp字段的修复方式。
logstash启动配置文件(本次使用的配置文件是logstash.conf)新增以下配置:
filter {
grok {
match => ["message","%{TIMESTAMP_ISO8601:log.date}"]
}
date {
match => ["log.date", "yyyy-MM-dd HH:mm:ss,SSS"]
target => "@timestamp"
}
}
重启logstash,需要等一会才能生效,注意时间。
4、正常的效果
两个时间是一样的了
更多推荐
已为社区贡献3条内容
所有评论(0)