当前位置: 首页 > article >正文

Elasticsearch 如何处理 Aggs 顺序中的大写字母和小写字母?

Elasticsearch 排序允许你根据特定条件对搜索结果进行排序。 然而,在排序时处理区分大小写时,Elasticsearch 将大写和小写字母视为不同的字符,分别对它们进行排序。 这是因为 ASCII 表顺序是从大写 A 到小写 z。

默认情况下,Elasticsearch 按以下顺序对字符串进行排序:首先是数字,然后是大写字母,最后是小写字母。 例如,如果您有术语 “Apple”、“apple”、“banana”、“Carrot” 和 “1apple”,它们将按升序排序为“1apple”、“Apple”、“Carrot”、“ apple”、“banana”。

POST /test_casing/_bulk
{ "index" : {} }
{ "my_field" : "Apple" }
{ "index" : {} }
{ "my_field" : "apple" }
{ "index" : {} }
{ "my_field" : "banana" }
{ "index" : {} }
{ "my_field" : "Carrot" }
{ "index" : {} }
{ "my_field" : "1apple" }

这种默认行为可能并不总是令人满意。 例如,如果你对值 “Apple”、“banana” 和 “Carrot” 建立了索引,并且使用升序排列,那么你将得到 “Apple”、“Carrot” 和“banana”。 但是,你可能想要 “Apple”、“banana”、“Carrot”。

为此,你可以使用 Elasticsearch 中称为规范化器(normalizer)的功能。 规范化器与关键字字段类型一起使用,允许你以类似于分析文本的方式预处理关键字字段的输入。

然而,与分析器不同,规范化器不会将输入分解为标记。 这使得它适合需要对整个输入进行索引或排序的关键字字段类型。

PUT /test_casing2
{
  "settings": {
    "analysis": {
      "normalizer": {
        "my_normalizer": {
          "type": "custom",
          "filter": [
            "lowercase"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "my_field": {
        "type": "keyword",
        "normalizer": "my_normalizer"
      }
    }
  }
}
POST /test_casing2/_bulk
{"index":{}}
{"my_field":"Apple"}
{"index":{}}
{"my_field":"apple"}
{"index":{}}
{"my_field":"banana"}
{"index":{}}
{"my_field":"bananA"}
{"index":{}}
{"my_field":"Carrot"}

需要注意的是,使用标准化器会改变索引中的值。 如果你想保留原始值,例如带有大写 “A” 的 “Apple”,你可以使用子字段(sub-fields)。 这允许你保留原始字段值和标准化字段值。 在聚合结果中,Elasticsearch 将仅显示你在聚合中使用的字段

不幸的是,Elasticsearch 不支持直接在术语聚合中进行不区分大小写的排序。 即使使用脚本聚合和标准化器,也不可能以不区分大小写的方式排序并区分大小写地显示结果。 这是用户在使用 Elasticsearch 时应该注意的限制。

如何向现有索引添加标准化器?

让我们看一下在 Elasticsearch 中向现有索引添加规范器的过程的实际示例。 此过程涉及几个步骤:关闭索引、更新设置、重新打开索引、更新映射、更新数据索引,最后运行查询。

首先,你需要使用以下命令关闭索引:

POST test_casing/_close

接下来,你更新索引的设置以添加标准化器。 在本例中,我们添加一个应用小写过滤器的自定义规范化器:

PUT test_casing/_settings
{
  "analysis": {
    "normalizer": {
      "my_normalizer": {
        "type": "custom",
        "filter": [
          "lowercase"
        ]
      }
    }
  }
}

更新设置后,你可以重新打开索引:

POST test_casing/_open

现在,你需要更新索引的映射以使用规范器。 在这里,我们向 “my_field” 添加一个使用标准化器的子字段:

PUT test_casing/_mapping
{
  "properties": {
    "my_field": {
      "type": "text",
      "fields": {
        "normalized": {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

请注意,my_field.normalized 是字段名称。

接下来,你可以通过运行 update_by_query 来更新数据索引,这将在 my_field.normalized 字段内添加数据:

POST test_casing/_update_by_query

最后,你可以对索引运行搜索查询。 在本例中,我们在新的标准化字段上运行聚合:

GET /test_casing/_search
{
  "size": 0,
  "aggs": {
    "my_terms": {
      "terms": {
        "field": "my_field.normalized"
      }
    }
  }
}

此过程演示了如何将规范器添加到 Elasticsearch 中的现有索引,从而使你能够更灵活地处理区分大小写的问题。


http://www.kler.cn/news/159684.html

相关文章:

  • C语言每日一题(41)循环队列
  • C语言——指针(四)
  • 图扑参展高交会-全球清洁能源创新博览会
  • 从零构建属于自己的GPT系列2:模型训练1(预训练中文模型加载、中文语言模型训练、逐行代码解读)
  • 运维之远程桌面连接失败问题排查
  • java8 升级 java11
  • Hive数据库系列--Hive数据类型/Hive字段类型/Hive类型转换
  • 循环队列中的求队列长度公式怎么来的?【数学角度】
  • 【华为OD题库-068】找出经过特定点的路径长度-java
  • 【数电笔记】07-基本和复合逻辑运算
  • 『亚马逊云科技产品测评』活动征文|基于亚马逊云EC2搭建OA系统
  • uniapp打包的h5项目多了接口调用https://api.next.bspapp.com/client
  • 1.1美术理论基础
  • 快手数仓面试题附答案
  • 流量异常-挂马造成百度收录异常关键词之解决方案(虚拟主机)
  • python内存处理和常见的内存泄漏场景
  • 【从删库到跑路 | MySQL数据库总结篇】JDBC编程
  • 【论文】F1的单位是%还是1,mAP的单位是%还是1?答:F1的单位是1,mAP的单位是%
  • flutter的CircularProgressIndicator基本使用
  • 【UGUI】实现背包的常用操作
  • USTC Fall2023 高级人工智能期末考试回忆版
  • 力扣:196. 删除重复的电子邮箱(Python3)
  • go第三方包发布(短精细)
  • InnoDB存储引擎体系结构中的各个组件是如何协同工作的?
  • WVP-RPO开源项目搭建实践
  • 苹果TF签名全称TestFlight签名,需要怎么做才可以上架呢?
  • C++笔试题之回文数的判断
  • 【Redis6快速深入学习04】Redis字符串(String)的使用和原理
  • 【分布式微服务专题】从单体到分布式(一、SpringCloud项目初步升级)
  • FAQ:Reference篇