当前位置：首页 > article >正文

Grafana集成Quickwit插件

article 2025/3/13 19:18:53

介绍

对于追求高性能、低成本的、易维护的日志存储管理方案来说，Loki和Quickwit服务对于中小企业来说，都是一个不错的选择之一；

关于为什么使用Quickwit日志搜索引擎，而不是使用Grafana同平台的原生产品Loki，这一篇关于《Quickwit与Loki的基准测试》文章可做参考；

但通过测试基准结果图来看，在检索数据方面，Quickwit明显比Loki性能更强，检索效率更高，可以在后续搭建日志管理平台时，做为产品选型的一个参考；

关于Grafana集成Quickwit插件，在Quickwit官方文档中，也提供了基于Docker容器Quickwit和Grafana的快速安装方法，如下：

参见Quickwit官方文档：Logs and Traces with Grafana | Quickwit

安装Grafana+Quickwit

本章节以Docker容器安装示例为主，请参考过往文章《Docker安装Quickwit搜索引擎》和《Docker安装Grafana》；也可通过下载二进制文件单独安装，相关安装方法，参见Grafana官方文档和Quickwit官方文档；

安装Quickwit

在Docker服务引擎中添加quickwit镜像，并创建可运行docker容器；

version: '3.0'
services:
  quickwit:
    image: quickwit/quickwit
    environment:
      QW_ENABLE_OPENTELEMETRY_OTLP_EXPORTER: "true"
      OTEL_EXPORTER_OTLP_ENDPOINT: "http://localhost:7281"
    ports:
      - 7280:7280
    command: ["run"]

安装Grafana

在Docker服务引擎中添加grafana镜像，并创建可运行docker容器；

  grafana:
    image: grafana/grafana-oss
    container_name: grafana
    ports:
      - "${MAP_HOST_GRAFANA:-127.0.0.1}:3000:3000"
    environment:
      GF_INSTALL_PLUGINS: https://github.com/quickwit-oss/quickwit-datasource/releases/download/v0.3.1/quickwit-quickwit-datasource-0.3.1.zip;quickwit-quickwit-datasource
      GF_AUTH_DISABLE_LOGIN_FORM: "true"
      GF_AUTH_ANONYMOUS_ENABLED: "true"
      GF_AUTH_ANONYMOUS_ORG_ROLE: Admin

添加Quickwit数据源

待所有服务安装完毕并启动后，进入到Grafana平台，点击 Connections》Add new connection》搜索quickwit，查找匹配的数据源，点击进入数据源，即可进入数据源插件描述页和安装操作；

关于Quickwit可支持版本与详情，Grafana官方平台插件库可检索，请参见：Quickwit plugin for Grafana | Grafana Labs，也可以在安装Quickwit插件页面中查看描述；

或通过grafana-cli安装插件

grafana-cli plugins install quickwit-quickwit-datasource

在安装界面点击右上角Installing按钮下载插件自动安装；稍待片刻后安装完毕；

点击菜单栏Data source进入数据源管理界面，此时新环境还无任何数据源，点击Add data source添加新数据源

在搜索栏输入：quickwit，查找到刚安装的Quickwit数据源插件，点击进入数据源适配界面；

在HTTP》URL中输入：http://192.168.1.3:7280/api/v1，此链接指向我们正运行中的Quickwit服务容器可访问入口地址；其它配置有cookies、timeout、tls等，也可默认不配，请根据实际情况来配；

输入Index settings》Index ID：索引名，默认返回的日志条数为100，可以在Editor settings》Default logs limit中改大一点，比如：200（按需配置即可），再完成基础数据源配置后，点击Save & test按钮进行保存并测试，如无错误提示，则quickwit数据源配置正式生效；

数据演示

因之前有上传日志数据到Quickwit索引库gh-archive，但只有日志时间为2022-05-12日的全天数据，因此将搜索范围限定在2022-05-22当天24小时内;

如需了解如何上传数据，请参考《Quickwit获取Kafka数据源消息》或《Docker安装Quickwit搜索引擎》

也可通过命令脚本，获取Quickwit官方测试示例数据，上传到本地Quickwit服务索引库中；

# 下载一天的数据
curl https://data.gharchive.org/2022-05-12-10.json.gz -o 2022-05-12-10.json.gz
# 解压
tar -zxvf 2022-05-12-10.json.gz
# 提交示例数据json文件
curl -XPOST http://192.168.1.3:7280/api/v1/gh-archive/ingest -H "content-type: application/json" --data-binary @2022-05-12-10.json

点击Run query按钮，直接查询即返回日志结果；

查看Quickwit服务上的IndexID ：gh-archive，日志索引库只同步了2022-05-12当天历史数据；

通过上述安装过程，整个Grafana集成Quickwit数据源还是非常的简单，日志检索使用也非常的方便；

因此对于中小企业，小规模应用以及一定(大)规模的投入生产后的日志管理，是一个成本相对廉价、维护简单，并且性能较高的一个日志管理集成平台；对于日G级别或以下的日志量，可以采用Quickwit单机本地部署（也可以多节点+S3后端存储），足以满足日常检索需求；对于TB、PB级的数据量，则可以使用Quickwit多节点部署(或k8s弹性部署)+后端S3存储服务，也完全能够支撑的了生产需要；

查看全文

http://www.kler.cn/a/583127.html