FKLEK 采集展示

FKLEK

(1)利用Filebeat去监控日志文件，将Kafka作为Filebeat的输出端

(2)Kafka实时接收到Filebeat后以Logstash作为输出端输出

(3)通过Logstash的一些插件对数据进行过滤最后达到想要的数据格式，并以ElasticSearch作为输出端输出

(4)在ElasticSearch就可以进行检索和聚合分析

(5)借助Kibana的数据可视化能力

Filebeat

<match test-topic>
  @type rdkafka2
  brokers ip:port,ip:port,ip:port
  rdkafka_options { 
        "log_level" : 7,
        "request.timeout.ms": 5000,
        "security.protocol": "sasl_ssl",
        "ssl.ca.location": "这里填写crt 证书文件的路径， 需要注意文件权限",
        "sasl.mechanism": "PLAIN",
        "sasl.username":     "这里填写sasl的用户名",
        "sasl.password": "这里填写sasl的密码"
      }
  <format>
    @type json
  </format>
  topic_key test-topic
  default_topic test-topic
</match>

Kafka

Logstash

ElasticSearch

Kibana