简介

    Filebeat是本地文件的日志数据采集器,可监控日志目录或特定日志文件(tail file),并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块(auditd,Apache,Nginx,System和MySQL),可通过一个指定命令来简化通用日志格式的收集,解析和可视化。

安装

1、下载

本人使用的是centos7.4,其他Linux版本也都大同小异

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.1-linux-x86_64.tar.gz

2、解压

tar -zxvf filebeat-6.5.1-linux-x86_64.tar.gz

3、配置

解压后,文件目录下会产生一个配置文件filebeat.yml

vi filebeat.yml 打开

3.1、首先在输入项部分filebeat inputs中将enabled由原来的false改为true使之生效

然后将需要监控的日志路径添加到path:下面

3.2、接下来在输出项配置中找到logstash

将运行logstash的目标服务器地址和端口放到hosts中,如果是本机则为localhost

需要注意的是输出配置中包含elasticsearch和logstash两个配置,将不需要的注释掉,否则会报错

例如使用logstash则需要将es注释 # output.elasticsearch

4、启动filebeat

服务台启动 ./filebeat -e -c filebeat.yml

后台启动 nohup ./filebeat -e -c filebeat.yml > /dev/null &

启动后会在30秒内检索日志文件并向logstash端口提交

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐