当前位置： 首页 > article >正文

一步到位：通过 Docker Compose 部署 EFK 进行 Docker 日志采集

article 2024/11/14 15:50:24

一、EFK简介

Elasticsearch：一个开源的分布式搜索和分析引擎，用于存储和查询日志数据。它是 EFK 的核心组件，负责高效地存储和检索日志信息。

Filebeat：一个轻量级的日志采集器，主要用于将日志文件数据发送到 Logstash 或 Elasticsearch。Filebeat 设计用于高效地转发和处理日志数据，具有低内存消耗和可靠的传输能力。

Kibana：一个开源的数据可视化平台，与 Elasticsearch 配合使用，用于创建图表、仪表板和报告，以便对日志数据进行分析和展示。

二、EFK 和 ELK 的对比

2.1、日志收集器

  • EFK：使用 Filebeat 作为日志收集器。Filebeat 是一种轻量级的代理，专门用于转发日志数据到 Elasticsearch 或 Logstash。它易于配置和维护，适合处理大规模日志数据的转发。
  • ELK：使用 Logstash 作为日志收集器。Logstash 提供了丰富的数据处理功能，可以对日志进行解析、过滤和增强，然后将其发送到 Elasticsearch。虽然功能强大，但配置和维护相对复杂。

2.2、配置和性能

  • EFK：Filebeat 的设计目标是轻量化，适合在日志生成的主机上运行，性能高且资源消耗低。它能够高效地将日志数据传输到 Elasticsearch 或 Logstash，并且配置较为简单。
  • ELK：Logstash 提供了强大的数据处理能力，但通常需要更多的系统资源。其复杂的配置和处理能力适合需要进行大量数据处理的场景。

2.3、数据管道

  • EFK：Filebeat 直接将日志数据发送到 Elasticsearch 或 Logstash。它可以进行基本的日志采集和传输，但通常将更复杂的数据处理任务交给 Logstash 或直接到 Elasticsearch。
  • ELK：Logstash 处理复杂的数据处理和转换任务，能够在数据到达 Elasticsearch 之前进行各种处理。这样可以将数据以最佳格式存储到 Elasticsearch 中，但也会增加系统的复杂性和资源消耗。

2.4、优势与区别

  • EFK 的优势在于 Filebeat 的轻量和高效，使得日志收集和传输过程更加简洁和低资源消耗。适合日志生成主机直接使用，减少了 Logstash 的负担。

  • ELK 通过 Logstash 提供了更多的数据处理和转换能力，适合处理复杂的日志数据处理需求。虽然功能强大，但配置和维护相对较复杂，资源消耗也较高。

当然 Logstash 相比于 FileBeat 也有一定的优势，比如 Logstash 对于日志的格式化处理能力，FileBeat 只是将日志从日志文件中读取出来，当然如果收集的日志本身是有一定格式的，FileBeat 也可以格式化，但是相对于Logstash 来说，效果差很多。

三、实验目的

  • 使用EFK 的架构，去收集机器上docker 容器的日志
  • 容器日志，主要包括 业务微服务本身暴漏出来 的 标准输出日志，直接输出在控制台上
  • 使用 filebeat 去采集容器机器的标准输出日志，/var/lib/docker/containers/*/*.log
  • filebeat.docker.yml 官方示例配置文件，可参考https://raw.githubusercontent.com/elastic/beats/8.15/deploy/docker/filebeat.docker.yml

image-20240912182231392

四、部署

4.1 环境信息

efk 的镜像没有托管至dockerhub，请自行下载镜像

IP系统版本软件名称+版本镜像地址
172.24.0.229openeuler 22.03 LTS SP4docker-20.10.24，filebeat:7.6.2docker.elastic.co/beats/filebeat:7.6.2
172.22.33.204openeuler 22.03 LTS SP4docker-20.10.24，docker-compose-2.10.2，elasticsearch-8.15.1，kibana:8.15.1，filebeat:7.6.2docker.elastic.co/elasticsearch/elasticsearch:8.15.1，docker.elastic.co/kibana/kibana:8.15.1，docker.elastic.co/beats/filebeat:7.6.2

4.2 安装docker，docker-compose

安装过程省略，可参考：

  • CentOS 7安装docker并配置镜像加速 https://srebro.cn/archives/1709614927551
  • Cenotos7 安装docker-compose https://srebro.cn/archives/Cenotos7%20%E5%AE%89%E8%A3%85docker-compose

4.3 使用docker-compose 编排EFK

以下操作在172.22.33.204 机器上完成

4.3.1 创建EFK 工作目录/数据目录/配置文件

4.3.1.1 创建elasticsearch 数据目录,并授权777
#创建efk工作目录
$ mkdir -p /home/application/efk

$ mkdir -p /home/application/efk/elasticsearch/data
$ chmod 777 /home/application/efk/elasticsearch/data
4.3.1.2 创建kibana数据目录,并授权777
$ mkdir -p /home/application/efk/kibana/data
$ chmod 777 /home/application/efk/kibana/data
4.3.1.3 创建filebeat配置文件

⚠️需要指定setup.kibana.host 根据自己的实际情况填写kibana地址

#创建 filebeat 工作目录
$ mkdir -p /home/application/efk/filebeat

$ vim /home/application/efk/filebeat/filebeat.docker.yml
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true

processors:
  - add_host_metadata: ~  #用于将主机的元数据添加到每条日志记录中。这些元数据包括主机的名称、IP 地址、操作系统等信息。
  - drop_fields:
      ignore_missing: true # 字段不存在时不报错
      fields: #过滤掉下面的字段
        - "input_type"
        - "log.offset"
        - "host.name"
        - "input.type"
        - "agent.hostname"
        - "agent.type"
        - "ecs.version"
        - "agent.ephemeral_id"
        - "agent.id"
        - "agent.version"
        - "fields.ics"
        - "log.file.path"
        - "log.flags"
        - "host.os.version"
        - "host.os.platform"
        - "host.os.family"
        - "host.os.name"
        - "host.os.kernel"
        - "host.os.codename"
        - "host.id"
        - "host.containerized"
        - "host.hostname"
        - "host.architecture"
        - "docker.container.labels.license"
        - "docker.container.labels.com_docker_compose_image"
        - "docker.container.labels.maintainer"
        - "docker.container.labels.com_docker_compose_config-hash"
        - "docker.container.labels.org_label-schema_schema-version"
        - "docker.container.labels.org_label-schema_url"
        - "docker.container.labels.org_label-schema_usage"
        - "docker.container.labels.org_label-schema_vcs-url"
        - "docker.container.labels.org_label-schema_vendor"
        - "docker.container.labels.org_label-schema_license"
        - "docker.container.labels.org_label-schema_vcs-ref"
        - "docker.container.labels.org_opencontainers_image_documentation"
        - "docker.container.labels.com_docker_compose_version"
        - "docker.container.labels.com_docker_compose_service"
        - "docker.container.labels.org_opencontainers_image_created"
        - "docker.container.labels.org_label-schema_build-date"
        - "docker.container.labels.org_label-schema_name"
        - "docker.container.labels.org_label-schema_version"
        - "docker.container.labels.org_opencontainers_image_licenses"
        - "docker.container.labels.org_opencontainers_image_revision"
        - "docker.container.labels.org_opencontainers_image_source"
        - "docker.container.labels.org_opencontainers_image_title"
        - "docker.container.labels.org_opencontainers_image_url"
        - "docker.container.labels.org_opencontainers_image_vendor"
        - "docker.container.labels.org_opencontainers_image_version"
  - drop_event:
      when:
        or:
          - contains:
              container.name: "filebeat"

setup.kibana.host: "172.22.33.204:5601"

# 自定义模板和索引模式
setup.template.name: "srebro-log"  # 定义索引模板的名称为 "srebro-log"。这个名称用于标识和应用模板。
setup.template.pattern: "srebro-*"  # 定义索引名称的模式为 "srebro-*"。匹配所有以 "srebro-" 开头的索引名称。
setup.template.overwrite: true  # 设置为 true 时，如果模板已经存在，将会覆盖现有模板。确保模板更新被应用。
setup.template.enabled: true  # 启用模板设置，允许 filebeat 创建或更新索引模板。


# Elasticsearch 输出配置
output.elasticsearch:
  hosts: '${ELASTICSEARCH_HOSTS:elasticsearch:9200}'
  # 自定义索引前缀
  index: "srebro-log-docker-%{+yyyy.MM.dd}"
  indices:
    - index: "srebro-log-docker-%{+yyyy.MM.dd}"

4.3.2 编写docker-compose 文件

⚠️ output.elasticsearch.hosts 根据自己的实际情况填写elasticsearch地址

$ cat >> /home/application/efk/docker-compose.yaml << EOF
version: '3'

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.15.1
    container_name: elasticsearch
    environment:
      - node.name=elasticsearch
      - discovery.type=single-node
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - xpack.security.enabled=false
        # - ES_JAVA_OPTS=-Xms512m -Xmx512m
    volumes:
      - ./elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - "9200:9200"
    networks:
      - elk-network
    restart: always

  kibana:
    image: docker.elastic.co/kibana/kibana:8.15.1
    container_name: kibana
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
      - I18N_LOCALE=zh-CN
    volumes:
      - ./kibana/data:/usr/share/kibana/data/
    ports:
      - "5601:5601"
    networks:
      - elk-network
    restart: always

  filebeat:
    image: docker.elastic.co/beats/filebeat:7.6.2
    container_name: filebeat
    user: root
    command: filebeat -e -strict.perms=false -E output.elasticsearch.hosts=["172.22.33.204:9200"]
    volumes:
      - ./filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
    networks:
      - elk-network
    restart: always

networks:
  elk-network:
    driver: bridge

EOF

4.3.2 运行EFK

#切换到efk工作目录下
$ cd /home/application/efk/

#下载镜像
$ docker-compose pull

#运行docker-compose
$ docker-compose up -d

[+] Running 4/4
 ⠿ Network elk_elk-network  Created                                                                                                              0.1s
 ⠿ Container elasticsearch  Started                                                                                                              0.6s
 ⠿ Container kibana         Started                                                                                                              0.6s
 ⠿ Container filebeat       Started                                                                                                              0.4s
 
$ docker-compose ps
NAME                COMMAND                  SERVICE             STATUS              PORTS
elasticsearch       "/bin/tini -- /usr/l…"   elasticsearch       running             0.0.0.0:9200->9200/tcp, :::9200->9200/tcp, 9300/tcp
filebeat            "/usr/bin/tini -- /u…"   filebeat            running             
kibana              "/bin/tini -- /usr/l…"   kibana              running             0.0.0.0:5601->5601/tcp, :::5601->5601/tcp

4.4 使用docker 运行filebeat 采集器

以下操作在172.24.0.229 机器上完成

  • 准备filebeat配置文件

    ⚠️ 需要指定kibana的地址

#创建 filebeat 工作目录
$ mkdir -p /home/application/efk/filebeat

$ vim /home/application/efk/filebeat/filebeat.docker.yml
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true

processors:
  - add_host_metadata: ~  #用于将主机的元数据添加到每条日志记录中。这些元数据包括主机的名称、IP 地址、操作系统等信息。
  - drop_fields:
      ignore_missing: true # 字段不存在时不报错
      fields: #过滤掉下面的字段
        - "input_type"
        - "log.offset"
        - "host.name"
        - "input.type"
        - "agent.hostname"
        - "agent.type"
        - "ecs.version"
        - "agent.ephemeral_id"
        - "agent.id"
        - "agent.version"
        - "fields.ics"
        - "log.file.path"
        - "log.flags"
        - "host.os.version"
        - "host.os.platform"
        - "host.os.family"
        - "host.os.name"
        - "host.os.kernel"
        - "host.os.codename"
        - "host.id"
        - "host.containerized"
        - "host.hostname"
        - "host.architecture"
        - "docker.container.labels.license"
        - "docker.container.labels.com_docker_compose_image"
        - "docker.container.labels.maintainer"
        - "docker.container.labels.com_docker_compose_config-hash"
        - "docker.container.labels.org_label-schema_schema-version"
        - "docker.container.labels.org_label-schema_url"
        - "docker.container.labels.org_label-schema_usage"
        - "docker.container.labels.org_label-schema_vcs-url"
        - "docker.container.labels.org_label-schema_vendor"
        - "docker.container.labels.org_label-schema_license"
        - "docker.container.labels.org_label-schema_vcs-ref"
        - "docker.container.labels.org_opencontainers_image_documentation"
        - "docker.container.labels.com_docker_compose_version"
        - "docker.container.labels.com_docker_compose_service"
        - "docker.container.labels.org_opencontainers_image_created"
        - "docker.container.labels.org_label-schema_build-date"
        - "docker.container.labels.org_label-schema_name"
        - "docker.container.labels.org_label-schema_version"
        - "docker.container.labels.org_opencontainers_image_licenses"
        - "docker.container.labels.org_opencontainers_image_revision"
        - "docker.container.labels.org_opencontainers_image_source"
        - "docker.container.labels.org_opencontainers_image_title"
        - "docker.container.labels.org_opencontainers_image_url"
        - "docker.container.labels.org_opencontainers_image_vendor"
        - "docker.container.labels.org_opencontainers_image_version"
  - drop_event:
      when:
        or:
          - contains:
              container.name: "filebeat"

setup.kibana.host: "172.22.33.204:5601"

# 自定义模板和索引模式
setup.template.name: "srebro-log"  # 定义索引模板的名称为 "srebro-log"。这个名称用于标识和应用模板。
setup.template.pattern: "srebro-*"  # 定义索引名称的模式为 "srebro-*"。匹配所有以 "srebro-" 开头的索引名称。
setup.template.overwrite: true  # 设置为 true 时，如果模板已经存在，将会覆盖现有模板。确保模板更新被应用。
setup.template.enabled: true  # 启用模板设置，允许 filebeat 创建或更新索引模板。


# Elasticsearch 输出配置
output.elasticsearch:
  hosts: '${ELASTICSEARCH_HOSTS:elasticsearch:9200}'
  # 自定义索引前缀
  index: "srebro-log-docker-%{+yyyy.MM.dd}"
  indices:
    - index: "srebro-log-docker-%{+yyyy.MM.dd}"
  • docker run 运行

⚠️ 需要指定elasticsearch的地址

$ docker run -d --name=filebeat --user=root --restart=always --volume="/home/application/efk/filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro"   --volume="/var/lib/docker/containers:/var/lib/docker/containers:ro"   --volume="/var/run/docker.sock:/var/run/docker.sock:ro" docker.elastic.co/beats/filebeat:7.6.2 filebeat -e -strict.perms=false   -E output.elasticsearch.hosts=["172.22.33.204:9200"]
  • 查看filebeat 的日志
$ docker logs -f filebeat

image-20240913191451112

五、登录 kibana控制台，检索日志

  • kibana web 控制台： http://172.22.33.204:5601/

image-20240912213801915

  • 创建索引

image-20240912213944463

可以看到所有索引 srebro-log-docker*

image-20240913191704488

  • 创建数据视图

image-20240913191737522

image-20240913191820949

  • 检索日志

image-20240913191916799


http://www.kler.cn/a/308968.html

相关文章：

  • 【自用】0-1背包问题与完全背包问题的Java实现
  • 陪诊问诊APP开发实战：基于互联网医院系统源码的搭建详解
  • 封装el-menu
  • 深入理解接口测试：实用指南与最佳实践5.0（三）
  • 01-Ajax入门与axios使用、URL知识
  • C++20 中最优雅的那个小特性 - Ranges
  • FastAPI--如何自定义Docs UI，包括多个APP、静态资源、元数据等
  • kotlin的密封类
  • springboot+redis+缓存
  • 二十种编程语言庆祝中秋节
  • CesiumJS+SuperMap3D.js混用实现通视分析
  • SprinBoot+Vue基于推荐算法的智能书店的设计与实现
  • 车载软件架构 --- SOA设计与应用（下）
  • grafana升级指南
  • vue table id一样的列合并
  • 深度学习和机器学习的区别
  • linux-安全管理-用户认证
  • leetcode 345.翻转字符串中的元音字母
  • 浅谈住房城乡建设部科技创新平台布局重点方向
  • 代码随想录Day 48|单调栈，leetcode题目：739. 每日温度、496.下一个更大元素 I、503.下一个更大元素II
  • Reactive 编程-Vert.x
  • 云原生（Cloud Native）简介及相关技术
  • 3分钟了解 跨网文件安全交换的最佳方案是什么
  • nano在shell编程中的作用
  • LLM Prompt
  • wordpress源码资源站整站打包32GB数据，含6.7W条资源数据