Elasticsearch（三）

1.1Elasticsearch安装

1.1.1 下载软件

Elasticsearch 的官方地址：https://www.elastic.co/cn/
下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch

学习ES可以先从Windows开始

下载后直接解压即可

运行es


从图中可以看到两个端口：9300和9200
9300 端口为 Elasticsearch 集群间组件的通信端口，9200 端口为浏览器访问的 http
协议 RESTful 端口。

打开浏览器输入http://localhost:9200/，显示如下图：

1.1.2 问题解决

• 双击启动窗口闪退，通过路径访问追踪错误，如果是“空间不足”，请修改config/jvm.options 配置文件
  
• 默认安装包带有 jdk 环境，如果系统配置 JAVA_HOME，那么使用系统默认的 JDK，如果没有配
  置使用自带的 JDK，一般建议使用系统配置的 JDK。

1.2 Elasticsearch 基本操作

1.2.1 数据格式

Elasticsearch是面向文档型数据库，一条数据在这里就是一个文档。为了方便立即，我们将Elasticsearch里面存储的文档数据和关系型数据库mysql存储的数据做一个对比。

ES 里的 Index 可以看做一个库，而 Types 相当于表，Documents 则相当于表的行。
这里 Types 的概念已经被逐渐弱化，Elasticsearch 6.X 中，一个 index 下已经只能包含一个
type，Elasticsearch 7.X 中, Type 的概念已经被删除了。

1.2.2 HTTP操作

1.2.2.1 索引操作

1.创建索引
对比关系型数据库，创建索引相当于创建数据库

注意：创建索引库的分片数默认1片，在7.0.0之前的版本中是默认5片
2.查看所有索引

_cat表示查看的意思，indices表示索引，所以整体的含义就是查看当前ES服务器中的所有索引，就像MySQL中的show tables差不多。
返回结果中的表头含义如下：

3.查看单个索引

返回结果的含义：

4.删除索引

1.2.2.2 文档操作

1.创建文档

此处必须发送post请求，不能发送put请求

上面的数据创建后，由于没有指定数据唯一性标识（ID），默认情况下，ES 服务器会随机
生成一个。
如果想要自定义唯一性标识，需要在创建时指定：http://127.0.0.1:9200/shopping/_doc/1

2.查看文档


3.修改文档
和新增文档一样，输入相同的 URL 地址请求，如果请求体变化，会将原有的数据内容覆盖
在 Postman 中，向 ES 服务器发 POST 请求 ：http://127.0.0.1:9200/shopping/_doc/1


4.修改字段
修改数据时，也可以只修改某一给条数据的局部信息，在 Postman 中，向 ES 服务器发 POST 请求 ：http://127.0.0.1:9200/shopping/_update/1

5.删除文档
删除一个文档不会立即从磁盘上移除，它只是被标记成已删除（逻辑删除）。在 Postman 中，向 ES 服务器发 DELETE 请求 ：http://127.0.0.1:9200/shopping/_doc/1


6.条件删除
一般删除数据都是根据文档的唯一性标识进行删除，实际操作时，也可以根据条件对多条数
据进行删除

1.2.2.3 映射操作

有了索引库，等于有了数据库中的 database。
接下来就需要建索引库(index)中的映射了，类似于数据库(database)中的表结构(table)。
创建数据库表需要设置字段名称，类型，长度，约束等；索引库也一样，需要知道这个类型
下有哪些字段，每个字段有哪些约束信息，这就叫做映射(mapping)。
1.创建映射
在 Postman 中，向 ES 服务器发 PUT 请求 ：http://127.0.0.1:9200/shopping/_mapping

映射数据说明：

• 字段名：任意填写，下面指定许多属性，例如：title、subtitle、images、price
• type：类型，Elasticsearch 中支持的数据类型非常丰富，说几个关键的：
  • String 类型，又分两种：
    text：可分词
    keyword：不可分词，数据会作为完整字段进行匹配
  • Numerical：数值类型，分两类
    基本数据类型：long、integer、short、byte、double、float、half_float
    浮点数的高精度类型：scaled_float
  • Date：日期类型
  • Array：数组类型
  • Object：对象
• index：是否索引，默认为 true，也就是说你不进行任何配置，所有字段都会被索引。
  true：字段会被索引，则可以用来进行搜索
  false：字段不会被索引，不能用来搜索
• store：是否将数据进行独立存储，默认为 false
  原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储
  的，是从_source 里面提取出来的。当然你也可以独立的存储某个字段，只要设置
  “store”: true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用
  更多的空间，所以要根据实际业务需求来设置。
• analyzer：分词器，这里的 ik_max_word 即使用 ik 分词器

2.查看映射
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/shopping/_mapping

3.索引映射关联
在 Postman 中，向 ES 服务器发 PUT 请求 ：http://127.0.0.1:9200/shopping1

1.2.2.4 高级查询

Elasticsearch 提供了基于 JSON 提供完整的查询 DSL 来定义查询
1.查询所有文档
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search


2.匹配查询
match 匹配类型查询，会把查询条件进行分词，然后进行查询，多个词条之间是 or 的关系
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "match":{
            "name":"zhangsan1"
        }
    }
}

3.字段匹配查询
multi_match 与 match 类似，不同的是它可以在多个字段中查询。
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "multi_match": {
            "query":"zhangsan",
            "fields":["name","nickname"]
        }
    }
}

4.关键字精确查询
term 查询，精确的关键词匹配查询，不对查询条件进行分词。
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "term": {
            "name":{
                "value":"zhangsan"
            }
        }
    }
}

5.多关键字精确查询
terms 查询和 term 查询一样，但它允许你指定多值进行匹配。
如果这个字段包含了指定值中的任何一个值，那么这个文档满足条件，类似于 mysql 的 in
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "terms": {
            "name":["zhangsan","lisi"]
        }
    }
}

6.指定查询字段
默认情况下，Elasticsearch 在搜索的结果中，会把文档中保存在_source 的所有字段都返回。
如果我们只想获取其中的部分字段，我们可以添加_source 的过滤
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "_source":["name","nickname"],
    "query": {
        "terms": {
            "nickname":["zhangsan"]
        }
    }
}

7.过滤字段

我们也可以通过：

• includes：来指定想要显示的字段
• excludes：来指定不想要显示的字段
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "_source": {
        "includes": ["name","nickname"]
    },
    "query": {
        "terms": {
            "nickname": ["zhangsan"]
        }
    }
}

{
    "_source": {
        "excludes": ["name","nickname"]
    },
    "query": {
        "terms": {
            "nickname": ["zhangsan"]
        }
    }
}

8.组合查询
bool把各种其它查询通过must（必须 ）、must_not（必须不）、should（应该）的方
式进行组合
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "bool": {
            "must": [
                {
                    "match": {
                        "name": "zhangsan"
                    }
                }
            ],
            "must_not": [
                {
                    "match": {
                        "age": "40"
                    }
                }
            ],
            "should": [
                {
                    "match": {
                        "sex": "男"
                    }
                }
            ]
        }
    }
}

9.范围查询
range 查询找出那些落在指定区间内的数字或者时间。range 查询允许以下字符

在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "range": {
            "age": {
                "gte": 30,
                "lte": 35
            }
        }
    }
}

10.模糊查询
返回包含与搜索字词相似的字词的文档。
编辑距离是将一个术语转换为另一个术语所需的一个字符更改的次数。这些更改可以包括：

• 更改字符（box → fox）
• 删除字符（black → lack）
• 插入字符（sic → sick）
• 转置两个相邻字符（act → cat）
  为了找到相似的术语，fuzzy 查询会在指定的编辑距离内创建一组搜索词的所有可能的变体
  或扩展。然后查询返回每个扩展的完全匹配。
  通过 fuzziness 修改编辑距离。一般使用默认值 AUTO，根据术语的长度生成编辑距离。
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "fuzzy": {
            "name": {
                "value":"zhangsan"
            }
        }
    }
}

{
    "query": {
        "fuzzy": {
            "name": {
                "value":"zhangsan",
                "fuzziness":2
            }
        }
    }
}

11.单字段排序
sort 可以让我们按照不同的字段进行排序，并且通过 order 指定排序的方式。desc 降序，asc
升序。
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "match": {
            "name": "zhangsan"
        }
    },
    "sort": [
        {
            "age": {
                "order": "desc"
            }
        }
    ]
}

12.多字段排序
假定我们想要结合使用 age 和 _score 进行查询，并且匹配的结果首先按照年龄排序，然后
按照相关性得分排序
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "match_all": {}
    },
    "sort": [
        {
            "age": {
                "order": "desc"
            }
        },
        {
            "_score": {
                "order": "desc"
            }
        }
    ]
}

13.高亮查询
在进行关键字搜索时，搜索出的内容中的关键字会显示不同的颜色，称之为高亮。
Elasticsearch 可以对查询内容中的关键字部分，进行标签和样式(高亮)的设置。
在使用 match 查询的同时，加上一个 highlight 属性：

• pre_tags：前置标签
• post_tags：后置标签
• fields：需要高亮的字段
• title：这里声明 title 字段需要高亮，后面可以为这个字段设置特有配置，也可以空
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "match": {
            "name":"zhangsan"
        }
    },
    "highlight": {
        "pre_tags":"<font color='red'>",
        "post_tags":"</font>",
        "fields": {
            "name": {}
        }
    }
}

14.分页查询
from：当前页的起始索引，默认从 0 开始。 from = (pageNum - 1) * size
size：每页显示多少条
在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "query": {
        "match_all": {}
    },
    "sort": [
        {
            "age": {
                "order": "desc"
            }
        }
    ],
    "from": 0,
    "size": 2
}

15.聚合查询
聚合允许使用者对 es 文档进行统计分析，类似与关系型数据库中的 group by，当然还有很
多其他的聚合，例如取最大值、平均值等等。

• 对某个字段取最大值 max
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "max_age": {
            "max": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• 对某个字段取最小值 min
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "min_age": {
            "min": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• 对某个字段求和 sum
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "sum_age": {
            "sum": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• 对某个字段取平均值 avg
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "avg_age": {
            "avg": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• 对某个字段的值进行去重之后再取总数
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "distinct_age": {
            "cardinality": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• State 聚合
  stats聚合，对某个字段一次性返回 count，max，min，avg 和 sum 五个指标
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "stats_age": {
            "stats": {
                "field": "age"
            }
        }
    },
    "size": 0
}

16.桶聚合查询
桶聚和相当于 sql 中的 group by 语句

• terms 聚合，分组统计
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "age_groupby": {
            "terms": {
                "field": "age"
            }
        }
    },
    "size": 0
}

• 在 terms 分组下再进行聚合
  在 Postman 中，向 ES 服务器发 GET 请求 ：http://127.0.0.1:9200/student/_search

{
    "aggs": {
        "age_groupby": {
            "terms": {
                "field": "age"
            }
        }
    },
    "size": 0
}