1. ES文档创建删除流程?
    在这里插入图片描述

  2. ES文档查询流程?
    在这里插入图片描述

  3. Logstash的写入ES失败的原因?
    写入节点挂了
    逻辑判断都没失败写入空
    索引名称命名不规范,全部小写不能下划线开头
    内存不够(logstash、ES)
    索引上限(到达最大打开的文件数)

  4. Logstash和Filebeat的区别?
    java、依赖软件、500MB、功能齐全、input、fileter、output、支持通过type进行判断
    go、无依赖开箱即用、10MB、支持输出输出、也能过滤但是效果没有logstash好

  5. Logstash写入的流程?
    输入 Input:用于日志收集,常见插件: Stdin、File、Kafka、Redis、Filebeat、Http
    过滤 Filter:日志过滤和转换,常用插件: grok、date、geoip、mutate、useragent
    输出 Output:将过滤转换过的日志输出, 常见插件: File,Stdout,Elasticsearch,MySQL,Redis,Kafka

  6. Filebeat写入的流程?
    启动Filebeat时,它将启动一个或多个输入源,这些输入将在为日志数据指定的位置中查找。
    对于Filebeat所找到的每个日志,Filebeat都会启动收集器harvester进程。
    每个收集器harvester都读取一个日志以获取新内容,并将新日志数据发送到libbeat
    libbeat会汇总事件并将汇总的数据发送到为Filebeat配置的输出。

  7. logstash用到哪些插件?
    kafka
    file
    redis
    es
    useragent
    date
    grok
    geoip

Logo

Kafka开源项目指南提供详尽教程,助开发者掌握其架构、配置和使用,实现高效数据流管理和实时处理。它高性能、可扩展,适合日志收集和实时数据处理,通过持久化保障数据安全,是企业大数据生态系统的核心。

更多推荐