当前位置：首页 > article >正文

如何使用GeoIP和ELK（Elasticsearch、Logstash和Kibana）映射用户位置

article 2025/1/22 7:54:54

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。

简介

IP 地理定位是用于确定 IP 地址的物理位置的过程，可以用于各种目的，如内容个性化和流量分析。通过地理位置的流量分析可以为您的用户群提供宝贵的见解，因为它可以让您轻松地看到他们来自哪里。这可以帮助您就应用服务器的理想地理位置和当前受众做出明智的决策。

在本教程中，我们将向您展示如何使用 Elasticsearch、Logstash 和 Kibana 创建应用用户 IP 地址的可视化地理映射。

以下是它的工作原理的简要说明。Logstash 使用 GeoIP 数据库将 IP 地址转换为纬度和经度坐标对，即 IP 地址的大致物理位置。坐标数据存储在 Elasticsearch 中的 geo_point 字段中，并且还转换为 geohash 字符串。Kibana 可以读取 Geohash 字符串，并将它们绘制为地球地图上的点。在 Kibana 4 中，这被称为 Tile Map 可视化。

现在让我们来看一下先决条件。

先决条件

要按照本教程进行操作，您必须拥有一个可用的 ELK 栈。此外，您必须拥有包含可以过滤为字段的 IP 地址的日志，比如 Web 服务器访问日志。如果您还没有这两样东西，您可以按照本系列的前两个教程。第一个教程将设置一个 ELK 栈，第二个教程将向您展示如何收集和过滤 Nginx 或 Apache 访问日志：

如何在 Ubuntu 14.04 上安装 Elasticsearch、Logstash 和 Kibana 4
添加 Logstash 过滤器以改进集中式日志记录

向 Filebeat 索引添加 geo_point 映射

假设您已经按照先决条件教程进行了操作。但是，我们再次包括这一步，以防您跳过了它，因为 TileMap 可视化要求您的 GeoIP 坐标存储在 Elasticsearch 中作为 geo_point 类型。

在安装了 Elasticsearch 的服务器上，将 Filebeat 索引模板下载到您的主目录：

cd ~
curl -O https://gist.githubusercontent.com/thisismitch/3429023e8438cc25b86c/raw/d8c479e2a1adcea8b1fe86570e42abab0f10f364/filebeat-index-template.json

然后使用以下命令将模板加载到 Elasticsearch 中：

curl -XPUT 'http://localhost:9200/_template/filebeat' -d@filebeat-index-template.json

配置 Logstash 使用 GeoIP

要让 Logstash 存储 GeoIP 坐标，您需要识别一个生成包含公共 IP 地址的日志的应用程序，并将其作为离散字段进行过滤。一个生成包含此信息的日志的相当普遍的应用程序是 Web 服务器，如 Nginx 或 Apache。我们将使用 Nginx 访问日志作为示例。如果您使用不同的日志，需要对示例进行必要的调整。

在添加 Logstash 过滤器教程中，Nginx 过滤器存储在一个名为 11-nginx-filter.conf 的文件中。如果您的过滤器位于其他位置，请编辑该文件。

现在让我们编辑 Nginx 过滤器：

sudo vi /etc/logstash/conf.d/11-nginx-filter.conf

在 grok 部分下，添加下面突出显示的部分：

filter {
  if [type] == "nginx-access" {
    grok {
      match => { "message" => "%{NGINXACCESS}" }
    }
    geoip {
      source => "clientip"
    }
  }
}

这将配置过滤器将存储在 clientip 字段中的 IP 地址（在 source 中指定）转换为 GeoIP 坐标。我们将 source 指定为 clientip，因为这是 Nginx 用户 IP 地址存储的字段名称。如果您将 IP 地址信息存储在不同的字段中，请确保更改此值。

保存并退出。

为了使更改生效，让我们重新启动 Logstash：