当前位置：首页 > article >正文

微服务日志查询难解决方案-EFK

article 2025/2/9 23:44:10

前言

在微服务项目中，日志查询难是一个常见问题，主要原因包括：日志分散：微服务实例分布在多个节点或容器中，日志存储位置分散。格式不统一：不同服务可能使用不同的日志格式，难以统一查询。调用链复杂：跨服务的调用链难以追踪，导致问题定位困难。日志量大：微服务数量多，日志量巨大，查询效率低。

典型解决方案有：

1. ELK Stack（Elasticsearch + Logstash + Kibana）
Logstash：采集、过滤和转发日志。
Elasticsearch：存储和索引日志。
Kibana：提供日志查询和可视化界面。

适用场景：需要强大的全文搜索和聚合分析能力。

2. EFK Stack（Elasticsearch + Fluentd + Kibana）
Fluentd：作为日志采集和传输代理，替代Logstash。

适用场景：云原生环境，尤其是Kubernetes集群。

3. Loki + Promtail + Grafana
Promtail：采集和传输日志。
Loki：存储和索引日志。
Grafana：提供日志查询和可视化界面。

适用场景：轻量级日志管理，适合云原生环境。

下面就详细说说EFK解决方案。

EFK 是一个流行的日志管理解决方案，由 Elasticsearch、Fluentd 和 Kibana 三个核心组件组成。它主要用于收集、存储、分析和可视化日志数据，特别适合微服务和云原生环境。以下是 EFK 的实现步骤：

一、EFK 架构概述

Fluentd：负责日志的采集、过滤和转发。
Elasticsearch：负责日志的存储和索引。
Kibana：提供日志的可视化和查询界面。

二、实现步骤

1. 环境准备

Kubernetes 集群（可选）：如果是在 Kubernetes 环境中部署，可以使用 Helm 或 YAML 文件快速部署 EFK。
服务器资源：确保有足够的 CPU、内存和存储资源来运行 Elasticsearch 和 Fluentd。

2. 部署 Elasticsearch

Elasticsearch 是日志存储和索引的核心组件。

在 Kubernetes 中部署

使用 Helm 快速部署：

helm repo add elastic https://helm.elastic.co
helm install elasticsearch elastic/elasticsearch

或者使用 YAML 文件部署：

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: elasticsearch
spec:
  serviceName: elasticsearch
  replicas: 3
  template:
    metadata:
      labels:
        app: elasticsearch
    spec:
      containers:
      - name: elasticsearch
        image: docker.elastic.co/elasticsearch/elasticsearch:7.10.0
        ports:
        - containerPort: 9200
        env:
        - name: discovery.type
          value: "single-node"  # 单节点模式，生产环境需配置集群

验证 Elasticsearch

访问 Elasticsearch API：
```
curl http://<elasticsearch-ip>:9200
```

返回类似以下内容表示成功：

{
  "name" : "node-1",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "7.10.0"
  }
}

3. 部署 Fluentd

Fluentd 负责从各个节点或容器中采集日志，并将其转发到 Elasticsearch。

在 Kubernetes 中部署

使用 Helm 快速部署：
```
helm install fluentd elastic/fluentd
```

或者使用 YAML 文件部署：

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
spec:
  template:
    metadata:
      labels:
        app: fluentd
    spec:
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1.12.0-debian-elasticsearch7-1
        env:
        - name: FLUENT_ELASTICSEARCH_HOST
          value: "elasticsearch"  # Elasticsearch 服务地址
        - name: FLUENT_ELASTICSEARCH_PORT
          value: "9200"
        volumeMounts:
        - name: varlog
          mountPath: /var/log
      volumes:
      - name: varlog
        hostPath:
          path: /var/log

配置 Fluentd

Fluentd 的配置文件（fluent.conf）示例：

<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/fluentd-containers.log.pos
  tag kubernetes.*
  format json
  time_key time
  time_format %Y-%m-%dT%H:%M:%S.%NZ
</source>

<match kubernetes.**>
  @type elasticsearch
  host elasticsearch
  port 9200
  logstash_format true
  logstash_prefix kubernetes
</match>

4. 部署 Kibana

Kibana 是日志的可视化工具，用于查询和分析 Elasticsearch 中的日志。

在 Kubernetes 中部署

使用 Helm 快速部署：
```
helm install kibana elastic/kibana
```

或者使用 YAML 文件部署：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kibana
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: docker.elastic.co/kibana/kibana:7.10.0
        ports:
        - containerPort: 5601
        env:
        - name: ELASTICSEARCH_HOSTS
          value: "http://elasticsearch:9200"