当前位置: 首页 > article >正文

ELK + Filebeat + Spring Boot:日志分析入门与实践(二)

目录

一、环境

1.1 ELKF环境

1.2 版本

1.3 流程

二、Filebeat安装

2.1 安装

2.2 新增配置采集日志

三、logstash 配置

3.1 配置输出日志到es

3.2 Grok 日志格式解析

 3.2 启动 logstash

​3.3 启动项目查看索引


一、环境

1.1 ELKF环境

  • springboot项目:windows本地
  • Filebeat:windows本地
  • ELK:Ubuntu虚拟机

ELK搭建参考上一篇博客:ELK 7.17.x + Spring Boot:日志分析入门与实践-CSDN博客

1.2 版本

7.17.0(Filebeat 与ELK的版本保持一致)

1.3 流程

        Filebeat高效地采集本地项目日志,随后通过Logstash进行深度解析与格式化处理,再将处理后的日志数据上传至Elasticsearch进行高效存储与索引。最终,用户可借助Kibana提供的直观界面,轻松查看并分析这些日志数据。

二、Filebeat安装

2.1 安装

window下载地址:(选择不同版本只用修改版本号即可,官网太卡可能进不去)https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-windows-x86_64.zip

解压即可。

linux下载地址:

- wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-linux-x86_64.tar.gz
- tar -xzf filebeat-7.17.0-linux-x86_64.tar.gz

2.2 新增配置采集日志

新增 filebeat-test.yml 配置输出到logstash:

如果输出到es,注意配置具有写权限的用户,否则报错401,参考上篇文章

filebeat.inputs:
- type: log
  enabled: true
# 配置日志地址
  paths:
    - D:\soft\logs\*.log

#es的配置
# output:
#   elasticsearch:
#     hosts: ["192.168.64.128:9200"]
#     username: "elastic"
#     password: "123456"

# 配置logstash地址
output.logstash:
  enabled: true
  hosts: ["192.168.64.128:5044"]

#es的配置
# output.elasticsearch.index: "elkf-%{+yyyy.MM.dd}"
# setup.template.name: "elkf"
# setup.template.pattern: "elkf-*"
# setup.ilm.enabled: false

修改 filebeat-test.yml 的运行权限:

注意:住这个命令的作用是从文件 filebeat-test.yml 的权限中移除组(group)和其他用户(others)的写(write)权限,于提高文件的安全性,防止未经授权的修改。不执行可能会报错提示。

chmod go-w filebeat-test.yml

后台启动:

./filebeat -e -c filebeat-test.yml

三、logstash 配置

3.1 配置输出日志到es

新增配置 filebeat-elasticSearch.conf :

注意:"@timestamp"字段不能排除掉,否则索引名日期无法获取

# logstash的地址
input {
    beats {
      port => 5044
      host => "192.168.64.128"
    }
}

# 过滤器配置Grok模式解析日志
filter {
  grok {
    match => {
    "message" => "%{TIMESTAMP_ISO8601:timestamp} \|  %{LOGLEVEL:loglevel} %{NUMBER:pid} \| %{GREEDYDATA:message_detail}"
    }
  }
  mutate {
# 移除字段
    remove_field => ["log","tags", "input", "agent", "host", "ecs", "@version","message"]
  }
}

# 配置输出到es中,注意用户
output {
  elasticsearch {
    hosts => ["http://192.168.64.128:9200"]
    user => "logstash_to_es"
    password => "123456"
    action => "index"
    index  => "elkf-log2-%{+YYYY.MM.dd}"
  }
  stdout{
    codec => rubydebug
  }
}

3.2 Grok 日志格式解析

Grok模式测试可以使用kibana的Grok Debugger:

更简便的方式是问AI :

 

有些特殊字符用“\”进行转移,空格比较严谨,如果未匹配要检查空格。

问题:这里我的Grok配置一直未生效,后面发现是项目中logback.xml配置了高亮

<property name="PATTERN_DEFAULT"
              value="%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} | %highlight(${LOG_LEVEL_PATTERN:-%5p} ${PID:- }) | %boldYellow(%thread [%tid]) %boldGreen(%-40.40logger{39}) | %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}"/>

输出的日志用文本打开是:带有特殊字符

2024-10-29 15:31:39.534 |[34m INFO 34312[0;39m | [1;33mhttp-nio-18080-exec-1 [TID: N/A][0;39m [1;32mc.h.f.a.c.i.ApiAccessLogInterceptor     [0;39m | [preHandle][开始请求 URL(/admin-api/test) 无参数] 

需要将高亮和颜色去除:

<property name="PATTERN_DEFAULT"
              value="%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}} | %5p ${PID:- } | %thread [%tid] %-40.40logger{39} | %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%ex{full}}"/>

 3.2 启动 logstash

--config.reload.automatic 自动重载配置

bin/logstash -f /config/conf/filebeat-elasticSearch.conf --config.reload.automatic

3.3 启动项目查看索引

查看logstash日志,项目日志已经解析格式化了

参考:

  • Logstash:日志解析的 Grok 模式示例_logstash 日志解析的 grok 模式示例-CSDN博客 

http://www.kler.cn/a/371623.html

相关文章:

  • 基于SSM的智能台球厅系统
  • String的长度有限,而我对你的思念却无限延伸
  • React核心思维模型(一)
  • Flutter加载本地HTML的优雅解决方案:轻松实现富文本展示
  • 简单的Python爬虫实例
  • Spark SQL DSL
  • 【机器学习】14. 集成学习 ensemble: bagging, boosting, 随机森林 random forest
  • 压力测试指南-压力测试中的性能瓶颈定位与优化
  • C语言——字符串指针和字符串数组
  • 【数据结构与算法】第6课—数据结构之栈
  • 【问题记录】当机器人存在多个串口需要绑定时udevadm的作用
  • 【案例77】Npart部署页签失效
  • VQ-VAE(2018-05:Neural Discrete Representation Learning)
  • 中间件安全(三)
  • SpringBoot技术:闲一品交易平台的新选择
  • vue使用element ui绘制界面
  • C#实现隐藏和显示任务栏
  • Json库和文件操作
  • 大厂面试真题-简单描述一下SpringBoot的启动过程
  • 海外著名新闻门户媒体软文发稿之华盛顿独立报-大舍传媒
  • 力扣-最小覆盖子串
  • uniapp vue3 开发华为鸿蒙HarmonyOS 一些报错bug和如何配置签名
  • 引入了窥视孔连接(peephole connections)的LSTM
  • 讯飞星火4.0 Turbo发布,国际14项主流测试集9项第一
  • AUTOSAR 规范中的设计模式:传感器执行器模式
  • 【数据结构 | PTA】懂蛇语