当前位置: 首页 > article >正文

Prometheus 抓取 nginx 访问日志的指标

要通过 Prometheus 的 NGINX Exporter 来抓取 NGINX 中的日志信息,例如状态码为 4xx 或 5xx 的日志,需要结合以下几种工具和方法:

1. NGINX Exporter 基础功能

NGINX Exporter 是一个 Prometheus Exporter,用于从 NGINX 的 /status 端点收集指标数据,但它本身并不直接处理日志文件。因此,若要监控 NGINX 中状态码为 4xx 或 5xx 的日志信息,需要额外的步骤。

2. 使用 logstashfluentd 收集 NGINX 日志

为了从 NGINX 的日志文件中提取特定信息,并将其转换为 Prometheus 能够抓取的指标,我们可以使用 logstashfluentd 等日志收集工具。

使用 fluentd 示例
  1. 安装 Fluentd 和 Prometheus 插件首先,需要安装 Fluentd 和相关的插件,确保 Fluentd 可以从日志中提取数据并以 Prometheus 格式暴露出来:
gem install fluentd
gem install fluent-plugin-prometheus
  1. 配置 Fluentd配置 Fluentd,解析 NGINX 日志并生成 Prometheus 格式的指标。创建一个 Fluentd 配置文件 fluent.conf,内容如下:
<source>
  @type tail
  path /var/log/nginx/access.log
  pos_file /var/log/td-agent/nginx-access.log.pos
  tag nginx.access
  <parse>
    @type nginx
  </parse>

</source>

<filter nginx.access>
  @type grep
  <regexp>
    key status
    pattern ^4|5[0-9][0-9]$
  </regexp>

</filter>

<match nginx.access>
  @type prometheus
  <metric>
    name nginx_http_status_total
    type counter
    desc Nginx HTTP status code counter
    keys status
    <labels>
      status ${status}
    </labels>

  </metric>

  <metric>
    name nginx_http_request_bytes_total
    type counter
    desc Total bytes received by the Nginx server
    key bytes
  </metric>

</match>

<source>
  @type prometheus_monitor
  <labels>
    tag nginx.access
  </labels>

</source>

<source>
  @type prometheus_output_monitor
  <labels>
    tag nginx.access
  </labels>

</source>

<match **>
  @type stdout
</match>

- **Source**:读取 `/var/log/nginx/access.log` 文件,并解析日志。
- **Filter**:通过正则表达式过滤状态码为 4xx 或 5xx 的日志。
- **Match**:将解析后的日志信息转化为 Prometheus 格式的指标。
- **Prometheus 输出**:启动一个 HTTP 端点,供 Prometheus 抓取这些指标。
  1. 启动 Fluentd运行 Fluentd,应用配置文件:
fluentd -c /path/to/fluent.conf

Fluentd 会启动一个监听端口,默认是 http://localhost:24231/metrics,以 Prometheus 格式暴露解析后的日志数据。

3. 配置 Prometheus 抓取 Fluentd 暴露的指标

在 Prometheus 的配置文件 prometheus.yml 中,添加 Fluentd 作为新的抓取目标:

scrape_configs:
  - job_name: 'nginx_logs'
    static_configs:
      - targets: ['localhost:24231']

4. 使用 Grafana 可视化

现在 Prometheus 已经可以抓取 NGINX 的 4xx 和 5xx 状态码日志信息,您可以在 Grafana 中创建仪表盘,展示这些信息的时间变化趋势,分析 NGINX 服务的健康状况。

总结

虽然 NGINX Exporter 本身无法直接抓取日志信息,但是结合 Fluentd 等日志收集工具,您可以轻松地将 NGINX 日志中的特定信息(如 4xx 和 5xx 状态码)转化为 Prometheus 可抓取的指标,并最终在 Grafana 中进行可视化。


http://www.kler.cn/news/359672.html

相关文章:

  • @MassageMapping和@SendTo注解详解
  • Shell并发执行:提升脚本效率的终极指南
  • 深入理解 Kafka
  • 【Python网络编程】学习Socket编程,打造网络应用!
  • 设计模式(c++)
  • 【数学二】多元函数微积分学-多元函数的微分
  • 代码训练营 day38|LeetCode 62,LeetCode 63
  • 每月洞察:App Store 和 Google Play 的主要更新
  • 【MATLAB 串口调试+虚拟串口测试】
  • 优化UVM环境(七)-整理环境,把scoreboard拿出来放在project_common环境里
  • 代码随想录算法训练营第十一天|383. 赎金信, 15. 三数之和
  • Verilator——最简单、最细节上手教程
  • 后端接收参数的几种常用注解
  • 中国移动机器人将投入养老场景;华为与APUS共筑AI医疗多场景应用
  • 2024年4个好用的录屏软件大盘点,轻松录制精彩瞬间。
  • Redis进阶
  • 浏览器实时更新esp32-c3 Supermini http server 数据
  • 智能汽车制造:海康NVR管理平台/工具EasyNVR多品牌NVR管理工具/设备实现无插件视频监控直播方案
  • Redis主从复制实现原理
  • 汽车行业焕新潮流涌动,联众优车以优质服务响应市场变化