SpringBoot+FileBeat+ELK8.x版本收集日志

一、准备环境

1、ElasticSearch：8.1.0

2、FileBeat：8.1.0

3、Kibana：8.1.0

4、logstach：8.1.0

本次统一版本：8.1.0,4个组件，划分目录，保持版本一致。

说明：elasticsearch和kibana会有版本不兼容的情况、导致kibana连接不上ES，会报错，不支持版本。

下载地址：Elastic — The Search AI Company | Elastic

二、FileBeat安装

1、解压如下,存放统一目录

2、配置filebeat.yml文件

编辑如下yaml

 修改如下配置：

filebeat.inputs:
 
- type: log
 
  enabled: true
 
  paths:
    - D:\var\logs\walk-boot\*.log
  fields:
    level: info
 
filebeat.config.modules:
 
  path: ${path.config}/modules.d/*.yml
 
  reload.enabled: true
 
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

• enabled改为true，必须设置成true否则找不到文件路径
• paths改成自己服务应用的日志文件路径
• reload.enabled 需要改成true，否则会启动失败
• output.logstash的host设置成自己的logstash的IP地址即可

3、运行filebeat

cmd窗口如下：

命令：.\filebeat.exe -c filebeat.yml -e

• -c filebeat.yml 指定配置文件，默认是当前目录下的filebeat.yml。
• -e 将日志输出到标准输出（命令行窗口），便于调试和监控Filebeat的运行状况。

后台方式启动：

./filebeat-c filebeat.yml >filebeat.log 2>&1 &

三、Logstash安装

1、解压如下,存放统一目录

2、配置logstash.conf文件

这里使用logstash-sample.conf文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

3、启动logstash

运行命令如下：

logstash -f config/logstash-sample.conf -e

• -f logstash-sample.conf 指定配置文件。
• -e 将日志输出到标准输出（命令行窗口），便于调试和监控Filebeat的运行状况。

后台启动

./bin/logstash -f config/logstash-sample.conf >logstash.log  2>&1 &

四、ElasticSearch安装

1、解压如下,存放统一目录

2、修改配置文件

ES8.x开启了安全认证，关闭 X-Pack 安全性，测试环境可以先关闭，增加一下配置：

xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false

3、启动elasticsearch

1、点击批处理文件启动

 2、观察启动日志：

3、验证运行状况

http://localhost:9200/

五、Kibana安装

1、解压如下,存放统一目录

2、配置kibana.yml文件

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

3、运行kinaba

4、浏览器访问界面

http://localhost:5601/app/dev_tools#/console

六、启动服务

1、观察日志打印

2、打开kibana

 第一次打开需要创建索引模式，我这里创建的是walk-boot*，表示匹配walk-boot开头的所有日志文件。

左边是字段选择，点击+可以选择，选择的是message，更多字段可以按照需要搜索。