当前位置： 首页 > article >正文

Elasticsearch知识点整理

article 2024/9/19 17:38:07

数据分类

  • 非结构化数据 全文数据。不定长或无固定格式 报错xml,HTML,Word
  • 结构化数据    行数据，由二维表结构来逻辑表达和实现的数据

非结构化数据

对于非结构化的数据 搜索主要有两种方法

  • 顺序扫描
  • 全文检索

顺序扫描

        一般不建议这么做。例如给你一张报纸，让你找到该报纸中“平安”的文字在哪些地方出现过。你肯定需要从头到尾把报纸阅读扫描一遍然后标记出关键字在哪些版块出现过以及它的出现位置。

这种方式无疑是最耗时的最低效的，如果报纸排版字体小，而且版块较多甚至有多份报纸，等你扫描完你的眼睛也差不多了。

全文检索

        对非结构化数据顺序扫面很慢，把我们的非结构化数据想办法弄得有结构就行。将非结构化数据的一部分信息提取出来，重新组织，使其变得有一定的结构然后对这种数据进行搜索，从而达到搜索相对较快的目的，这种方式就构成了全文检索的基本思路，这部分从非结构化数据中提取出的然后重新组织的信息，我们称之为索引。

理解倒排索引

  • Java is the best programming language.

  • PHP is the best programming language.

  • Javascript is the best programming language.

为了创建倒排索引，我们通过分词器将每个文档的内容域拆分成单独的词，我们称之为词条或Term 创建一个包含所有不重复词条的排序列表，然后列出每个词条出现在哪个文档。这种由属性值来确定记录的未知的结构就是倒排索引，带有倒排索引的文件我们称为倒排文件

其中主要由如下几个核心数据需要理解

  • 词条 Term 索引里面最小的存储和查询单元
  • 词典 是词条Term的集合 搜索引擎的通常索引单位是单词，单词词典是由文档中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息以及指向倒排列表的指针
  • 倒排列表  一个文档通常由多个词组成，倒排表记录的是某个词在那些文档里出现过以及出现的位置
  • 倒排文件 所有单词的倒排列表往往顺序 的存储在磁盘的某个文件里，这个文件为称之为倒排文件，倒排文件是存储倒排索引的物理文件

倒排索引 主要词典，倒排文件构成，

es核心概念

ES 是使用 Java 编写的一种开源搜索引擎，它在内部使用 Lucene 做索引与搜索，通过对 Lucene 的封装，隐藏了 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。

然而，Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。

它可以被下面这样准确的形容：

  • 一个分布式的实时文档存储，每个字段可以被索引与搜索。

  • 一个分布式实时分析搜索引擎。

  • 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据。

官网对 Elasticsearch 的介绍是 Elasticsearch 是一个分布式、可扩展、近实时的搜索与数据分析引擎。

我们通过一些核心概念来看下 Elasticsearch 是如何做到分布式，可扩展和近实时搜索的。

集群

es的集群搭建很简单，不需要依赖第三方，自身内部就实现了集群的管理功能，es集群由一个或多个elasticsearch节点组成，每个节点配置相同的cluster.name即可加入集群，默认为elasticsearch

确保不同的环境中使用不同的集群，否则最终回到这节点加入错误的集群

一个elasticsearch服务启动实例就是一个节点Node 节点通过node.name来设置节点名称，如果不设置则在穷是给节点分配一个随机通用唯一标识符作为名称

发现机制

Zen Discovery 是ES的内置默认发现模块，发现模块的职责是发现集群中的节点以及选举Master节点，提供单播和基于文件的发现，并且可以或者为通过插件支持云环境和其他形式的发现。Zen Discovery 与其他模块集成，例如 结点之间的所有通信都是用Transport模块完成，节点使用发现机制通过Ping的方式查找其他节点。

Elasticsearch默认被配置为使用单播发现，防止节点无意中加入集群，只有在同一台机器上运行的节点才会自动组成集群

如果集群的节点运行在不同机器上，使用单播，你可以为es提供一些它应该去尝试连接的节点列表

当一个节点联系到单播列表中的成员时，它就会得到整个集群所有节点的状态，然后它会联系 Master 节点，并加入集群。

这意味着单播列表不需要包含集群中的所有节点， 它只是需要足够的节点，当一个新节点联系上其中一个并且说上话就可以了。

如果你使用 Master 候选节点作为单播列表，你只要列出三个就可以了。这个配置在 elasticsearch.yml 文件中：

discovery.zen.ping.unicast.hosts: ["host1", "host2:port"]

Elasticsearch 支持同一个主机启动多个节点，Ping 的 Response 会包含该节点的基本信息以及该节点认为的 Master 节点。

选举开始，先从各节点认为的 Master 中选，规则很简单，按照 ID 的字典序排序，取第一个。如果各节点都没有认为的 Master ，则从所有节点中选择，规则同上。

这里有个限制条件就是 discovery.zen.minimum_master_nodes ，如果节点数达不到最小值的限制，则循环上述过程，直到节点数足够可以开始选举。

最后选举结果是肯定能选举出一个 Master ，如果只有一个 Local 节点那就选出的是自己。

如果当前节点是 Master ，则开始等待节点数达到 discovery.zen.minimum_master_nodes，然后提供服务。

如果当前节点不是 Master ，则尝试加入 Master 。Elasticsearch 将以上服务发现以及选主的流程叫做 Zen Discovery 。

由于它支持任意数目的集群（ 1- N ），所以不能像 Zookeeper 那样限制节点必须是奇数，也就无法用投票的机制来选主，而是通过一个规则。

只要所有的节点都遵循同样的规则，得到的信息都是对等的，选出来的主节点肯定是一致的。

但分布式系统的问题就出在信息不对等的情况，这时候很容易出现脑裂（Split-Brain）的问题。

大多数解决方案就是设置一个 Quorum 值，要求可用节点必须大于 Quorum（一般是超过半数节点），才能对外提供服务。

而 Elasticsearch 中，这个 Quorum 的配置就是 discovery.zen.minimum_master_nodes 。

节点的角色

每个节点既可以是候选主节点也可以是数据节点，通过在配置文件../config/elasticsearch.yml 中设置即可，默认都为 true。

node.master: true  //是否候选主节点
node.data: true    //是否数据节点

数据节点负责数据的存储和相关的操作，例如对数据进行增、删、改、查和聚合等操作，所以数据节点（Data 节点）对机器配置要求比较高，对 CPU、内存和 I/O 的消耗很大。

通常随着集群的扩大，需要增加更多的数据节点来提高性能和可用性。

候选主节点可以被选举为主节点（Master 节点），集群中只有候选主节点才有选举权和被选举权，其他节点不参与选举的工作。

主节点负责创建索引、删除索引、跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点、追踪集群中节点的状态等，稳定的主节点对集群的健康是非常重要的。

一个节点既可以是候选主节点也可以是数据节点，但是由于数据节点对 CPU、内存核 I/O 消耗都很大。

所以如果某个节点既是数据节点又是主节点，那么可能会对主节点产生影响从而对整个集群的状态产生影响。

因此为了提高集群的健康性，我们应该对 Elasticsearch 集群中的节点做好角色上的划分和隔离。可以使用几个配置较低的机器群作为候选主节点群。

主节点和其他节点之间通过 Ping 的方式互检查，主节点负责 Ping 所有其他节点，判断是否有节点已经挂掉。其他节点也通过 Ping 的方式判断主节点是否处于可用状态。

虽然对节点做了角色区分，但是用户的请求可以发往任何一个节点，并由该节点负责分发请求、收集结果等操作，而不需要主节点转发。

这种节点可称之为协调节点，协调节点是不需要指定和配置的，集群中的任何节点都可以充当协调节点的角色。

 脑裂现象

同时如果由于网络或其他原因导致集群中选举出多个 Master 节点，使得数据更新时出现不一致，这种现象称之为脑裂，即集群中不同的节点对于 Master 的选择出现了分歧，出现了多个 Master 竞争。

“脑裂”问题可能有以下几个原因造成：

  • 网络问题：集群间的网络延迟导致一些节点访问不到 Master，认为 Master 挂掉了从而选举出新的 Master，并对 Master 上的分片和副本标红，分配新的主分片。

  • 节点负载：主节点的角色既为 Master 又为 Data，访问量较大时可能会导致 ES 停止响应（假死状态）造成大面积延迟，此时其他节点得不到主节点的响应认为主节点挂掉了，会重新选取主节点。

  • 内存回收：主节点的角色既为 Master 又为 Data，当 Data 节点上的 ES 进程占用的内存较大，引发 JVM 的大规模内存回收，造成 ES 进程失去响应。

为了避免脑裂现象的发生，我们可以从原因着手通过以下几个方面来做出优化措施：

  • 适当调大响应时间，减少误判。通过参数 discovery.zen.ping_timeout 设置节点状态的响应时间，默认为 3s，可以适当调大。

    如果 Master 在该响应时间的范围内没有做出响应应答，判断该节点已经挂掉了。调大参数（如 6s，discovery.zen.ping_timeout:6），可适当减少误判。

  • 选举触发。我们需要在候选集群中的节点的配置文件中设置参数 discovery.zen.munimum_master_nodes 的值。

    这个参数表示在选举主节点时需要参与选举的候选主节点的节点数，默认值是 1，官方建议取值(master_eligibel_nodes/2)+1，其中 master_eligibel_nodes 为候选主节点的个数。

    这样做既能防止脑裂现象的发生，也能最大限度地提升集群的高可用性，因为只要不少于 discovery.zen.munimum_master_nodes 个候选节点存活，选举工作就能正常进行。

    当小于这个值的时候，无法触发选举行为，集群无法使用，不会造成分片混乱的情况。

  • 角色分离。即是上面我们提到的候选主节点和数据节点进行角色分离，这样可以减轻主节点的负担，防止主节点的假死状态发生，减少对主节点“已死”的误判。

分片

ES 支持 PB 级全文搜索，当索引上的数据量太大的时候，ES 通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上，拆分出来的数据库块称之为一个分片。

这类似于 MySQL 的分库分表，只不过 MySQL 分库分表需要借助第三方组件而 ES 内部自身实现了此功能。

在一个多分片的索引中写入数据时，通过路由来确定具体写入哪一个分片中，所以在创建索引的时候需要指定分片的数量，并且分片的数量一旦确定就不能修改。

分片的数量和下面介绍的副本数量都是可以通过创建索引时的 Settings 来配置，ES 默认为一个索引创建 5 个主分片, 并分别为每个分片创建一个副本。

PUT /myIndex
{
   "settings" : {
      "number_of_shards" : 5,
      "number_of_replicas" : 1
   }
}

ES 通过分片的功能使得索引在规模上和性能上都得到提升，每个分片都是 Lucene 中的一个索引文件，每个分片必须有一个主分片和零到多个副本。

副本（Replicas）

副本就是对分片的 Copy，每个主分片都有一个或多个副本分片，当主分片异常时，副本可以提供数据的查询等操作。

主分片和对应的副本分片是不会在同一个节点上的，所以副本分片数的最大值是 N-1（其中 N 为节点数）。

对文档的新建、索引和删除请求都是写操作，必须在主分片上面完成之后才能被复制到相关的副本分片。

ES 为了提高写入的能力这个过程是并发写的，同时为了解决并发写的过程中数据冲突的问题，ES 通过乐观锁的方式控制，每个文档都有一个 _version （版本）号，当文档被修改时版本号递增。

一旦所有的副本分片都报告写成功才会向协调节点报告成功，协调节点向客户端报告成功。

从上图可以看出为了达到高可用，Master 节点会避免将主分片和副本分片放在同一个节点上。

假设这时节点 Node1 服务宕机了或者网络不可用了，那么主节点上主分片 S0 也就不可用了。

幸运的是还存在另外两个节点能正常工作，这时 ES 会重新选举新的主节点，而且这两个节点上存在我们所需要的 S0 的所有数据。

我们会将 S0 的副本分片提升为主分片，这个提升主分片的过程是瞬间发生的。此时集群的状态将会为 Yellow。

为什么我们集群状态是 Yellow 而不是 Green 呢？虽然我们拥有所有的 2 个主分片，但是同时设置了每个主分片需要对应两份副本分片，而此时只存在一份副本分片。所以集群不能为 Green 的状态。

如果我们同样关闭了 Node2 ，我们的程序依然可以保持在不丢失任何数据的情况下运行，因为 Node3 为每一个分片都保留着一份副本。

如果我们重新启动 Node1 ，集群可以将缺失的副本分片再次进行分配，那么集群的状态又将恢复到原来的正常状态。

如果 Node1 依然拥有着之前的分片，它将尝试去重用它们，只不过这时 Node1 节点上的分片不再是主分片而是副本分片了，如果期间有更改的数据只需要从主分片上复制修改的数据文件即可。

 

小结：

  • 将数据分片是为了提高可处理数据的容量和易于进行水平扩展，为分片做副本是为了提高集群的稳定性和提高并发量。

  • 副本是乘法，越多消耗越大，但也越保险。分片是除法，分片越多，单分片数据就越少也越分散。

  • 副本越多，集群的可用性就越高，但是由于每个分片都相当于一个 Lucene 的索引文件，会占用一定的文件句柄、内存及 CPU。

    并且分片间的数据同步也会占用一定的网络带宽，所以索引的分片数和副本数也不是越多越好。

映射（Mapping）

映射是用于定义 ES 对索引中字段的存储类型、分词方式和是否存储等信息，就像数据库中的 Schema ，描述了文档可能具有的字段或属性、每个字段的数据类型。

只不过关系型数据库建表时必须指定字段类型，而 ES 对于字段类型可以不指定然后动态对字段类型猜测，也可以在创建索引时具体指定字段的类型。

对字段类型根据数据格式自动识别的映射称之为动态映射（Dynamic Mapping），我们创建索引时具体定义字段类型的映射称之为静态映射或显示映射（Explicit Mapping）。

在讲解动态映射和静态映射的使用前，我们先来了解下 ES 中的数据有哪些字段类型？之后我们再讲解为什么我们创建索引时需要建立静态映射而不使用动态映射。

ES（v6.8）中字段数据类型主要有以下几类：

图片

Text 用于索引全文值的字段，例如电子邮件正文或产品说明。这些字段是被分词的，它们通过分词器传递 ，以在被索引之前将字符串转换为单个术语的列表。

分析过程允许 Elasticsearch 搜索单个单词中每个完整的文本字段。文本字段不用于排序，很少用于聚合。

Keyword 用于索引结构化内容的字段，例如电子邮件地址，主机名，状态代码，邮政编码或标签。它们通常用于过滤，排序，和聚合。Keyword 字段只能按其确切值进行搜索。

通过对字段类型的了解我们知道有些字段需要明确定义的，例如某个字段是 Text 类型还是 Keyword 类型差别是很大的，时间字段也许我们需要指定它的时间格式，还有一些字段我们需要指定特定的分词器等等。

如果采用动态映射是不能精确做到这些的，自动识别常常会与我们期望的有些差异。

所以创建索引的时候一个完整的格式应该是指定分片和副本数以及 Mapping 的定义，如下：

PUT my_index 
{
   "settings" : {
      "number_of_shards" : 5,
      "number_of_replicas" : 1
   }
  "mappings": {
    "_doc": { 
      "properties": { 
        "title":    { "type": "text"  }, 
        "name":     { "type": "text"  }, 
        "age":      { "type": "integer" },  
        "created":  {
          "type":   "date", 
          "format": "strict_date_optional_time||epoch_millis"
        }
      }
    }
  }
}

安装和使用

 

①下载和解压 Elasticsearch，无需安装解压后即可用，解压后目录如上图：

  • bin：二进制系统指令目录，包含启动命令和安装插件命令等。

  • config：配置文件目录。

  • data：数据存储目录。

  • lib：依赖包目录。

  • logs：日志文件目录。

  • modules：模块库，例如 x-pack 的模块。

  • plugins：插件目录。

②安装目录下运行 bin/elasticsearch 来启动 ES。

③默认在 9200 端口运行，请求 curl http://localhost:9200/ 或者浏览器输入 http://localhost:9200，得到一个 JSON 对象，其中包含当前节点、集群、版本等信息。

{
  "name" : "U7fp3O9",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "-Rj8jGQvRIelGd9ckicUOA",
  "version" : {
    "number" : "6.8.1",
    "build_flavor" : "default",
    "build_type" : "zip",
    "build_hash" : "1fad4e1",
    "build_date" : "2019-06-18T13:16:52.517138Z",
    "build_snapshot" : false,
    "lucene_version" : "7.7.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}

集群健康状态

 

 

要检查群集运行状况，我们可以在 Kibana 控制台中运行以下命令 GET /_cluster/health，得到如下信息：
 

{
  "cluster_name" : "wujiajian",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 9,
  "active_shards" : 9,
  "relocating_shards" : 0,
  "initializing_shards" : 0,
  "unassigned_shards" : 5,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 0,
  "active_shards_percent_as_number" : 64.28571428571429
}

 

集群状态通过 绿，黄，红 来标识：
 

  •  
    绿色：集群健康完好，一切功能齐全正常，所有分片和副本都可以正常工作。
     
  •  
    黄色：预警状态，所有主分片功能正常，但至少有一个副本是不能正常工作的。此时集群是可以正常工作的，但是高可用性在某种程度上会受影响。
     
  •  
    红色：集群不可正常使用。某个或某些分片及其副本异常不可用，这时集群的查询操作还能执行，但是返回的结果会不准确。对于分配到这个分片的写入请求将会报错，最终会导致数据的丢失。
     
 

当集群状态为红色时，它将会继续从可用的分片提供搜索请求服务，但是你需要尽快修复那些未分配的分片。
 

 

                

        

        

				
				

					

					http://www.kler.cn/news/310745.html
					
				

                

                  
相关文章：

                    
                      
  • 
                        【计算机毕业设计】医院电子病历
                      
    • 
                    
                      
  • 
                        线程池的执行流程
                      
    • 
                    
                      
  • 
                        Java中的语法糖：让编程更简洁的特性
                      
    • 
                    
                      
  • 
                        neo4j安装为服务+配置环境变量
                      
    • 
                    
                      
  • 
                        linux之mysql安装
                      
    • 
                    
                      
  • 
                        pip清华源地址
                      
    • 
                    
                      
  • 
                        Vue 自定义指令实战
                      
    • 
                    
                      
  • 
                        Vue 常见的几种通信方式（总结）
                      
    • 
                    
                      
  • 
                        ShouldSniffAttr解说
                      
    • 
                    
                      
  • 
                        Linux: debug:dump_stack 实例
                      
    • 
                    
                      
  • 
                        极狐GitLab 重要安全版本：17.3.3, 17.2.7, 17.1.8, 17.0.8, 16.11.10
                      
    • 
                    
                      
  • 
                        C#使用HttpWebRequest下载文件
                      
    • 
                    
                      
  • 
                        Java通信协议——UDP通信协议，模拟聊天室（完整详解，附有代码）
                      
    • 
                    
                      
  • 
                        android含有EditText的键盘弹出后界面的正确处理
                      
    • 
                    
                      
  • 
                        人工智能 | 基于ChatGPT开发人工智能服务平台
                      
    • 
                    
                      
  • 
                        单片机嵌入式编程中常用技术点
                      
    • 
                    
                      
  • 
                        Python基础 | 在虚拟环境中安装并在指定文件夹中打开Jupyter notebook
                      
    • 
                    
                      
  • 
                        Java在零工市场中的应用：构建灵活高效的劳动力平台
                      
    • 
                    
                      
  • 
                        【算法】局部敏感哈希（LSH）：高效解决相似性搜索问题的利器
                      
    • 
                    
                      
  • 
                        html页面整合vue2或vue3
                      
    • 
                    
                      
  • 
                        选择适合你企业发展的服务器
                      
    • 
                    
                      
  • 
                        【Java】网络编程:TCP_IP协议详解(IP协议数据报文及如何解决IPv4不够的状况)
                      
    • 
                    
                      
  • 
                        C++类和对象（4）
                      
    • 
                    
                      
  • 
                        Linux平台UOS系统摄像头播放
                      
    • 
                    
                      
  • 
                        爬虫--翻页tips
                      
    • 
                    
                      
  • 
                        .Net Gacutil工具(全局程序集缓存工具）使用教程
                      
    • 
                    
                      
  • 
                        qt-creator-10.0.2之后版本的jom.exe构建和编译速度慢下来了
                      
    • 
                    
                      
  • 
                        【Python日志功能】二.高级配置与日志处理器
                      
    • 
                    
                      
  • 
                        怎么浏览URL的PDF文件呢
                      
    • 
                    
                      
  • 
                        性能测试笔记
                      
    •