1 安装nginx,并找到nginx的日志目录,步骤3要使用

2 配置Filebeat的module,在Filebeat中,有大量的module,如mysql,kafka,redis,nginx等,可以简化我们的配置,方便使用。

查看Filebeat支持模块
命令:./filebeat modules list

启动Nginx模块
启动命令:./filebeat modules enable nginx
禁用命令:./filebeat modules disable nginx

3 配置modules.d/nginx.yml文件,指定access.log 和 error.log 的地址

- module: nginx
  # Access logs
  access:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/access.log*"]

  # Error logs
  error:
    enabled: true
    var.paths: ["/usr/local/nginx/logs/error.log*"]

4 新建读取nginx的配置文件 a_nginx.yml

# 输入
filebeat.inputs:

# 增加标签
tags: ["nginx10"]

# 指定索引的分区数
setup.template.settings:
  index.number_of_shards: 1

# 使用 filebeat modules
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

# 设置kibana端点
setup.kibana:
  # kibana主机
  host: "127.0.0.1:5601"
  # 选项为:http或 https。默认值为http。
  protocol: "http"
  # 连接到Kibana的基本身份验证用户名。默认为Elasticsearch输出配置
  # username
  # 连接到Kibana的基本身份验证密码。默认为Elasticsearch输出配置
  # password
  # kibana路径
  # path:
# 启用kibana仪表板
setup.dashboards.enabled: true

# 输出到指定ES的配置
output.elasticsearch:
  hosts: ["127.0.0.1:9200"]

5 运行 ./filebeat -e -c a_nginx.yml

6 测试,访问nginx主页后,ES中效果如下

另外,有些低版本的ES,可能会报出以下错误,如下,需要安装相关的jar到ES目录中,方法到网上找.
Elasticsearch nodes:
sudo bin/elasticsearch-plugin install ingest-user-agent
sudo bin/elasticsearch-plugin install ingest-geoip

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐