【实战ES】实战 Elasticsearch：快速上手与深度实践-5.3.1GeoPoint与GeoShape的选型

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

5.3.1 GeoPoint与GeoShape选型深度解析

• 地理位置搜索核心组件与数据流向示意图

• 地理类型决策：
  • GeoPoint：适用于点坐标存储，支持距离计算和范围查询。
  • GeoShape：适用于存储多边形、线等复杂几何形状，支持空间交叠查询。

1. 核心概念对比

1.1 基础特性矩阵

1.2 性能基准对比（亿级数据测试）

2. 存储与索引原理

2.1 GeoPoint实现机制

// 向 Elasticsearch 发送 PUT 请求，用于创建一个名为 locations 的索引
PUT /locations
{
    // 定义索引的映射（mappings），映射描述了索引中文档的结构和字段类型
    "mappings": {
        // 定义文档中各个字段的属性
        "properties": {
            // 定义一个名为 coordinates 的字段，用于存储地理位置的坐标信息
            "coordinates": {
                // 指定该字段的类型为 geo_point，这是 Elasticsearch 中用于存储地理点（经纬度）的类型
                "type": "geo_point",
                // 设置 ignore_malformed 为 true，表示当遇到格式错误的地理点数据时，忽略这些错误，不影响文档的索引
                // 例如，如果传入的经纬度格式不正确，不会导致整个文档索引失败
                "ignore_malformed": true,
                // 设置 doc_values 为 true，表示为该字段创建文档值（doc values）
                // 文档值是一种基于磁盘的数据结构，用于在排序、聚合和脚本中高效地访问字段值
                // 对于地理点字段，开启 doc_values 可以提高地理位置相关的排序和聚合操作的性能
                "doc_values": true
            }
        }
    }
}

• 核心优化点：
  • 采用Geohash编码压缩存储（精度可配置）
  • 利用DocValues实现快速排序与聚合
  • 支持三种坐标格式（字符串/数组/对象）

2.2 GeoShape实现机制

// 这是一个向 Elasticsearch 发送的 HTTP PUT 请求，用于创建或更新一个名为 "regions" 的索引
// PUT 请求通常用于创建或替换资源，这里是创建或更新 "regions" 索引的映射（mapping）
PUT /regions
{
    "mappings": {
        // 定义索引中文档的字段映射关系，即每个字段的数据类型和相关配置
        "properties": {
            "area": {
                // 定义一个名为 "area" 的字段
                "type": "geo_shape",
                // 指定该字段的数据类型为 "geo_shape"，用于存储地理形状数据
                // 地理形状可以是点、线、多边形等，常用于地理空间数据的存储和查询
                "tree": "quadtree",
                // 指定地理形状数据的空间索引树类型为 "quadtree"
                // 四叉树（quadtree）是一种用于高效存储和查询地理空间数据的树形数据结构
                // 它将地理空间划分为四个子区域，通过递归划分来提高查询效率
                "precision": "100m"
                // 设置地理形状数据的精度为 100 米
                // 精度决定了地理形状数据在索引中的存储粒度，较高的精度意味着更精确的存储，但可能会增加存储空间和查询成本
            }
        }
    }
}

• 核心参数解析：
  • tree：空间索引类型（quadtree/geohash）
    • 四叉树（Quadtree）是一种用于处理二维空间数据的数据结构。
    • 四叉树是一种树形数据结构，每个节点最多有四个子节点，分别代表四个象限。
    • 它将二维空间递归地划分为四个相等的子区域，每个子区域又可以继续划分为四个更小的子区域，直到满足特定的停止条件，如区域内的数据点数量小于某个阈值，或者区域的大小小于某个预设值等。
  • precision：网格精度（影响内存与精度平衡）
  • strategy：递归分割策略（递归深度控制）

2.3 空间索引结构对比

3. 查询性能优化

3.1 GeoPoint优化策略

// 这是一个向 Elasticsearch 发送的 HTTP GET 请求，用于在名为 "locations" 的索引中进行搜索操作
GET /locations/_search
{
    "query": {
        // 使用布尔查询（bool），布尔查询允许组合多个查询条件
        "bool": {
            "filter": [
                {
                    // 使用地理距离查询（geo_distance）来筛选符合特定地理距离条件的文档
                    "geo_distance": {
                        // 指定最大距离为 5 千米，即只返回距离指定坐标 5 千米以内的文档
                        "distance": "5km",
                        "coordinates": {
                            // 指定参考坐标，这里是北京的大致经纬度（纬度 39.9042，经度 116.4074）
                            "lat": 39.9042,
                            "lon": 116.4074
                        },
                        // 指定距离计算类型为 "plane"，表示使用平面几何算法来计算距离
                        // 这种算法适用于距离较近的情况，计算速度较快，但在距离较远时可能会有一定误差
                        "distance_type": "plane" 
                    }
                }
            ]
        }
    },
    "sort": [
        {
            // 使用地理距离排序（_geo_distance），根据文档与指定坐标的距离对结果进行排序
            "_geo_distance": {
                // 指定参考坐标，与前面查询中的坐标一致
                "coordinates": "39.9042,116.4074",
                // 指定排序顺序为升序，即距离近的文档排在前面
                "order": "asc",
                // 指定距离单位为千米
                "unit": "km",
                // 指定排序模式为 "min"，表示使用文档中多个坐标时取最小距离进行排序
                // 如果文档只有一个坐标，此模式无影响
                "mode": "min"
            }
        }
    ]
}

• 关键参数：
  • distance_type：计算方式（arc/plane）
  • mode：多坐标点处理策略
  • unit：距离单位优化

3.2 GeoShape优化策略

// 这是一个向 Elasticsearch 发送的 HTTP GET 请求，目的是在名为 "regions" 的索引中进行搜索，并对结果进行聚合分析
GET /regions/_search
{
    "query": {
        // 使用 geo_shape 查询，用于处理地理形状相关的查询
        "geo_shape": {
            "area": {
                // 定义要查询的地理形状
                "shape": {
                    // 指定形状类型为 "envelope"，即矩形范围
                    "type": "envelope",
                    // 定义矩形的对角坐标，这里表示一个由左下角 (116.3, 39.9) 和右上角 (116.5, 40.0) 确定的矩形区域
                    "coordinates": [[116.3, 39.9], [116.5, 40.0]]
                },
                // 指定查询关系为 "WITHIN"，表示只返回 "area" 字段对应的地理形状完全在上述矩形范围内的文档
                "relation": "WITHIN"
            }
        }
    },
    "aggs": {
        // 定义聚合操作，聚合操作可以对查询结果进行进一步的统计和分析
        "heatmap": {
            // 使用 geohash_grid 聚合，用于生成地理热力图相关的数据
            "geohash_grid": {
                // 指定要进行聚合的字段为 "coordinates"，该字段应该存储的是地理坐标信息
                "field": "coordinates",
                // 指定 geohash 的精度为 5
                // geohash 是一种将地理坐标编码为字符串的方法，精度越高，划分的网格越细
                // 这里的精度 5 决定了生成的网格大小，用于对地理坐标进行分组统计
                "precision": 5
            }
        }
    }
}

• 性能提升技巧：
  • 预计算边界MBR（最小外包矩形）
    • MBR 通常指 “Minimum Bounding Rectangle”，即最小外接矩形。在计算机科学、地理信息系统（GIS）、计算机图形学等领域有广泛应用。
    • MBR 是指能够完全包含一个几何图形（如点集、多边形等）的最小矩形，这个矩形的边通常与坐标轴平行。
  • 采用分层精度索引策略
  • 结合terms查询过滤无关分片

4. 企业级选型指南

4.1 场景匹配矩阵

4.2 硬件配置建议

5. 混合使用方案

5.1 双索引联合查询

// 这是一个向 Elasticsearch 发送的 HTTP GET 请求，目的是在名为 "combined" 的索引中进行搜索操作
GET /combined/_search
{
    "query": {
        // 使用布尔查询（bool），它允许组合多个查询条件来构建更复杂的查询逻辑
        "bool": {
            "must": [
                // "must" 表示这些查询条件都必须满足，类似于逻辑与（AND）操作
                {
                    // 使用地理距离查询（geo_distance），用于筛选出距离指定坐标一定范围内的文档
                    "geo_distance": {
                        // 指定最大距离为 2 千米，即只返回距离指定坐标 2 千米以内的文档
                        "distance": "2km",
                        // 指定参考坐标，这里是纬度 39.9042，经度 116.4074
                        "coordinates": "39.9042,116.4074"
                    }
                },
                {
                    // 使用地理形状查询（geo_shape），用于筛选出与指定地理形状有特定关系的文档
                    "geo_shape": {
                        // 指定要查询的字段为 "service_area"，该字段应该存储地理形状数据
                        "service_area": {
                            "shape": {
                                // 指定形状类型为 "polygon"，即多边形
                                "type": "polygon",
                                // 定义多边形的坐标点数组，这里用 [...] 表示具体的坐标点，实际使用时需要替换为真实的坐标值
                                "coordinates": [[...]]
                            },
                            // 指定查询关系为 "intersects"，表示只返回 "service_area" 字段对应的地理形状与指定多边形【相交】的文档
                            "relation": "intersects"
                        }
                    }
                }
            ]
        }
    }
}

• 优势：
  • 先通过GeoPoint快速筛选候选集
  • 再通过GeoShape精确判断空间关系
  • 综合性能提升3-5倍

5.2 数据预处理策略

6. 常见问题解决方案

6.1 性能瓶颈矩阵

• 在地理信息系统、计算机图形学和空间数据处理等领域，MBR 最常指的还是最小外接矩形（Minimum Bounding Rectangle）

6.2 精度优化方案

附录：地理数据处理工具链

实施建议：

1. 历史数据建议采用GeoShape存储行政区划等静态数据
2. 实时轨迹类数据优先使用GeoPoint配合分片策略
3. 混合场景应建立双索引并设置路由规则
4. 定期执行_forcemerge优化地理索引碎片

• GDAL（Geospatial Data Abstraction Library）
  • 是一个用于处理地理空间数据的强大开源库，被广泛应用于地理信息系统（GIS）、遥感、测绘等领域。
  • GDAL 支持众多地理空间数据格式的读写操作，包括常见的栅格数据格式（如 GeoTIFF、Erdas Imagine、NetCDF 等）和矢量数据格式（如 Shapefile、GeoJSON、KML 等）。
  • 是开源软件，用户可以自由使用、修改和分发。这使得开发者可以根据自己的需求对其进行定制和扩展，降低了开发成本。