Elasticsearch、Logstash、Kibana(ELK)环境搭建
下面是 Elasticsearch、Logstash、Kibana(ELK)环境搭建的具体操作步骤:
- 安装 Java
ELK 是基于 Java 编写的,因此需要先安装 Java。建议安装 Java 8 或以上版本。
- 下载并安装 Elasticsearch
Elasticsearch 是一个基于 Lucene 的搜索引擎,用于存储、搜索和分析数据。官网地址:https://www.elastic.co/downloads/elasticsearch
下载后解压缩,然后进入解压缩后的目录,启动 Elasticsearch:
cd elasticsearch-7.8.0/bin/
./elasticsearch
- 下载并安装 Logstash
Logstash 是一个开源的数据管道,用于将不同来源的数据收集到 Elasticseach 中。官网地址:https://www.elastic.co/downloads/logstash
下载后解压缩,然后进入解压缩后的目录,启动 Logstash:
cd logstash-7.8.0/bin/
./logstash -f logstash.conf
其中,logstash.conf 是 Logstash 的配置文件,需要自己创建。
- 下载并安装 Kibana
Kibana 是一个基于 Web 的界面,用于查询和可视化 Elasticsearch 中的数据。官网地址:https://www.elastic.co/downloads/kibana
下载后解压缩,然后进入解压缩后的目录,启动 Kibana:
cd kibana-7.8.0/bin/
./kibana
- 访问 Kibana 界面
在浏览器中访问 http://localhost:5601,即可打开 Kibana 界面。
- 配置 Logstash
在 Logstash 中,需要配置输入(input)、过滤器(filter)和输出(output)三个部分。其中,input 用于从不同来源收集数据,filter 用于过滤和修改数据,output 用于将数据发送到 Elasticsearch 中。
下面是一个简单的配置文件示例:
input {
file {
path => "data/access.log"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
elasticsearch { hosts => ["localhost:9200"] }
stdout { codec => rubydebug }
}
这个配置文件的作用是从 access.log 文件中读取日志数据,然后使用 grok 过滤器和 date 过滤器,解析日志中的字段和时间,最后将数据发送到 Elasticsearch 中。
- 在 Kibana 中查询和可视化数据
使用 Kibana 查询和可视化数据非常方便,可以通过界面上的工具进行操作。在开始之前,需要先创建一个索引模式,指定在 Elasticsearch 中的数据类型和字段。
在 Kibana 界面上,点击左边菜单栏中的 Management,选择 Index Patterns,然后点击 Create index pattern 按钮。按照提示操作,最终创建好索引模式后,就可以在 Discover 和 Visualize 界面上查询和可视化数据了。
以上就是 Elasticsearch、Logstash、Kibana 环境搭建的具体操作步骤。