Filebeat入门及使用-5 读取nginx日志,写入ES,并用kibana展示
1 安装nginx,并找到nginx的日志目录,步骤3要使用2 配置Filebeat的module,在Filebeat中,有大量的module,如mysql,kafka,redis,nginx等,可以简化我们的配置,方便使用。查看Filebeat支持模块命令:./filebeat modules list启动Nginx模块启动命令:./filebeat modules enable nginx禁用
1 安装nginx,并找到nginx的日志目录,步骤3要使用
2 配置Filebeat的module,在Filebeat中,有大量的module,如mysql,kafka,redis,nginx等,可以简化我们的配置,方便使用。
查看Filebeat支持模块
命令:./filebeat modules list
启动Nginx模块
启动命令:./filebeat modules enable nginx
禁用命令:./filebeat modules disable nginx
3 配置modules.d/nginx.yml文件,指定access.log 和 error.log 的地址
- module: nginx
# Access logs
access:
enabled: true
var.paths: ["/usr/local/nginx/logs/access.log*"]
# Error logs
error:
enabled: true
var.paths: ["/usr/local/nginx/logs/error.log*"]
4 新建读取nginx的配置文件 a_nginx.yml
# 输入
filebeat.inputs:
# 增加标签
tags: ["nginx10"]
# 指定索引的分区数
setup.template.settings:
index.number_of_shards: 1
# 使用 filebeat modules
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
# 设置kibana端点
setup.kibana:
# kibana主机
host: "127.0.0.1:5601"
# 选项为:http或 https。默认值为http。
protocol: "http"
# 连接到Kibana的基本身份验证用户名。默认为Elasticsearch输出配置
# username
# 连接到Kibana的基本身份验证密码。默认为Elasticsearch输出配置
# password
# kibana路径
# path:
# 启用kibana仪表板
setup.dashboards.enabled: true
# 输出到指定ES的配置
output.elasticsearch:
hosts: ["127.0.0.1:9200"]
5 运行 ./filebeat -e -c a_nginx.yml
6 测试,访问nginx主页后,ES中效果如下
另外,有些低版本的ES,可能会报出以下错误,如下,需要安装相关的jar到ES目录中,方法到网上找.
Elasticsearch nodes:
sudo bin/elasticsearch-plugin install ingest-user-agent
sudo bin/elasticsearch-plugin install ingest-geoip
更多推荐
所有评论(0)