当前位置： 首页 > article >正文

Elasticsearch的Restful风格API

article 2024/11/14 5:32:47

前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除

1、Restful及JSON格式

RESTFUL是一种网络应用程序的设计风格和开发方式，基于HTTP，可以使用 XML 格式定义或 JSON 格式定义。REST（英文：Representational State Tranfer，简称REST）描述了一个架构样式的网络系统，比如web应用程序

JSON格式：

数据类型描述举例
字符串要求使用双引号("")引起来的数据"elasticsearch"
数字通常指的是0-9的所有数字100
布尔值只有true和false两个值true
空值只有null一个值null
数组使用一对中括号("[]")放入不同的元素(支持高级数据和基础数据类型)["linux","docker"]
对象使用一对大括号("{}")括起来，里面的数据使用KEY-VALUE键值对即可{"class":"linux","age":25}

2、Elasticsearch的相关术语

  • Document：文档，是用户存储在ES的一些数据，它是ES中最小的存储单元
  • field：相当于数据库表的字段，对文档数据根据不同属性进行分类标示
  • index：索引；一个索引就是一个拥有相似特征文档的集合
  • shard：分片；真正存储数据的地方，每个分片底层对应的是一个Lucene库。一个索引至少有1个或多个分片
  • replica：副本；对数据的备份，一个分片可以有0个或多个副本。一旦副本数量不为0，就会引入主分片（primary shard）和副本分片（replica shard）的概念

    • 主分片（primary shard）：可以实现对数据的读写操作

    • 副本分片（replica shard）：可以实现数据读操作，与此同时，需要去主分片同步数据，当主分片挂掉，副本分片会变为主分片

  • Allocation：分配；将分片（shard）分配给某个节点的过程，包括主分片与副本分片；如果是副本分片，它还包含主分片复制数据的过程，这个分配过程由master节点调度完成
  • Type：在es 5.x即更早的版本，在一个索引中，我们可以定义一种或多种数据类型。但在es7仅支持"_doc"类型。

3、管理索引的API

3.1、查看索引信息

 GET http://192.168.1.10:9200/_cat/indices   # 查看全部的索引信息
 GET http://192.168.1.10:9200/_cat/indices?v # 查看表头信息
 GET http://192.168.1.10:9200/_cat/indices/.kibana_7.17.3_001?v  # 查看单个索引 
 GET http://192.168.1.10:9200/.kibana_7.17.3_001 # 查看单个索引的详细信息

3.2、创建索引

 # 创建索引并指定分片和副本
 PUT http://192.168.1.10:9200/cluster-linux2
  {
     "settings":{
         "index":{
             "number_of_shards": "3",
             "number_of_replicas": 0
         }
     }
 }
 # 参数说明
 "number_of_shards": 指定分片数量
 "number_of_replicas": 指定副本数量

3.3、修改索引

 PUT http://192.168.1.10:9200/cluster-linux/_settings
 {
     "number_of_replicas": 0
 }
 # 注意:分片数量无法修改，副本数量是可以修改的

3.4、删除索引

 DELETE http://192.168.1.10:9200/cluster-linux
 # 删除索引，服务器的数据也会随之删除

3.5、索引别名

 POST http://192.168.1.10:9200/_aliases      # 添加索引别名
 {
     "actions": [
         {
             "add": {
                 "index": "cluster-linux",
                 "alias": "2024"
             }
         },
         {
             "add": {
                 "index": "cluster-linux1",
                 "alias": "23世纪"
             }
         }
     ]
 }
 GET http://192.168.1.10:9200/_aliases       # 查看所有索引的别名
 POST http://192.168.1.10:9200/_aliases      # 删除索引
 {
     "actions": [
         {
             "remove": {
                 "index": "cluster-linux",
                 "alias": "2024"
             }
         }
     ]
 }
 POST http://192.168.1.10:9200/_aliases      # 修改索引别名
 {
     "actions": [
         {
             "remove": {
                 "index": "cluster-linux",
                 "alias": "2024"
             }
         },
         {
             "add": {
                 "index": "cluster-linux",
                 "alias": "23世纪"
             }
         }
     ]
 }

3.6、索引关闭

索引关闭意味着无法进行任何的读写操作，但数据并不会被删除；

 POST http://192.168.1.10:9200/cluster-linux/_close  # 关闭索引
 POST http://192.168.1.10:9200/cluster-*/_close      # 基于通配符关闭索引

3.7、索引打开

 POST http://192.168.1.10:9200/cluster-linux/_open   # 打开索引
 POST http://192.168.1.10:9200/cluster-*/_open       # 基于通配符打开索引

4、管理文档的API

4.1、文档的创建

 # 创建文档
 POST http://192.168.1.10:9200/teacher/_doc
 {
     "name":"cluster",
     "hobby":[
         "Linux",
         "Docker"
     ]
 }
 # 创建文档并指定id
 http://192.168.1.10:9200/teacher/_doc/1001
 ​
 # 文档类型
 http://192.168.1.10:9200/student/linux/1001
 http://192.168.1.10:9200/student/_doc/1002

4.2、文档的查看

源数据：指的是用户写入的数据

元数据：描述数据的数据，由ES内部维护

 GET http://192.168.1.10:9200/teacher/_search    #查看所有文档 
 GET http://192.168.1.10:9200/teacher/_doc/LQSMhJEBbNOjcNtbiy97  # 查看某一个文档
 HEAD http://192.168.1.10:9200/teacher/_doc/LQSMhJEBbNOjcNtbiy97 # 判断一个文档是否存在，返回200、404

4.3、文档的修改

 # 全局更新，会覆盖原有的文档数据内容
 POST http://192.168.1.10:9200/teacher/_doc/LQSMhJEBbNOjcNtbiy97 
 {
     "name":"cluster",
     "hobby":[
         "Linux",
         "Docker",
         "Java"
     ]
 }
 ​
 # 局部更新，并不会覆盖原有的文档数据内容
 POST http://192.168.1.10:9200/teacher/_doc/LQSMhJEBbNOjcNtbiy97/_update
 {
     "doc": {
         "name": "小李"
         "age": 22
     }
 }

4.4、文档的删除

 DELETE http://192.168.1.10:9200/teacher/_doc/1001

4.5、文档的批量操作

 # 批量创建
 POST http://192.168.1.10:9200/_bulk
 {"create":{"_index":"cluster-linux-elk"}}
 {"name":"user1","hobby":["u1xx1","u1xx2"]}
 {"create":{"_index":"cluster-linux-elk","_id": 1002}}
 {"name":"user2","hobby":["u2xx1","u2xx2"]}
 {"create":{"_index":"cluster-linux-elk","_id": 1001}}}
 {"name":"user3","hobby":["u3xx1","u3xx2"]}
 ​
 # 批量删除
 POST http://192.168.1.10:9200/_bulk
 {"delete":{"_index":"cluster-linux-elk","_id": "1001" }}
 {"delete":{"_index":"cluster-linux-elk","_id": "1002" }}
 ​
 # 批量修改
 POST http://192.168.1.10:9200/_bulk
 {"update":{"_id":"1001","_index": "cluster-linux-elk" }}
 {"doc":{"name":"更改1"}}
 {"update":{"_id":"1002","_index": "cluster-linux-elk" }}
 {"doc":{"name":"更改2"}}
 ​
 # 批量查看
 POST http://192.168.1.10:9200/_mget
 {
     "docs": [
         {
             "_index": "cluster-linux-elk",
             "_id": "1001"
         },
         {
             "_index": "cluster-linux-elk",
             "_id": "1002"
         }
     ]
 }

5、使用映射(mapping)自定义数据类型

 https://www.elastic.co/guide/en/elasticsearch/reference/7.17/mapping.html

映射是定义文档及其包含的字段如何存储和索引的过程

每个文档都是字段的集合，每个字段都有自己的数据类型。映射数据时，我们创建一个映射定义，其中包含与文档相关的字段列表。映射定义还包括元数据字段，例如_source自定义 如何处理文档的关联元数据的字段。

使用动态映射和显式映射来定义数据。每种方法 根据您在数据旅程中所处的位置提供不同的优势。为 例如，显式映射您不想使用默认值的字段，或者将字段映射到 更好地控制创建的字段。然后，您可以允许 Elasticsearch 动态添加其他字段。

5.1、IP案例

 # 创建索引时指定映射关系
 PUT http://192.168.1.10:9200/cluster-linux-elk      
 {
     "mappings":{
         "properties":{
             "ip_addr":{
                 "type":"ip"
             }
         }
     }
 }
 ​
 #查看索引时指定映射关系
 GET http://192.168.1.10:9200/cluster-linux-elk
 ​
 # 查看IP的网段
 GET http://192.168.1.10:9200/cluster-linux-elk/_search
 {
     "query":{
         "match":{
             "ip_addr":"192.168.0.0/16"
         }
     }
 }

5.2、其他数据案例

 # 创建索引
 PUT http://192.168.1.10:9200/cluster-linux-elk-2024
 # 修改索引的数据类型
 PUT http://192.168.1.10:9200/cluster-linux-elk-2024/_mapping
 {
     "properties": {
         "name": {
             "type": "text",
             "index": true
         },
         "gender": {
             "type": "keyword",
             "index": true
         },
         "telephone": {
             "type": "text",
             "index": false
         },
         "address": {
             "type": "keyword",
             "index": false
         },
         "email": {
             "type": "keyword"
         },
         "ip_addr": {
             "type": "ip"
         }
     }
 }
 # 添加测试数据
 {"create":{"_index":"cluster-linux-elk-2024"}}
 {"ip_addr":"192.168.10.10","name":"zhangsan","gender":"male","telephone":"123456","address":"xxx","email":"zhangsan@qq.com"}
 {"create":{"_index":"cluster-linux-elk-2024"}}
 {"ip_addr":"192.168.20.20","name":"lisi","gender":"male","telephone":"333333","address":"yyy","email":"lisi@qq.com"}
 {"create":{"_index":"cluster-linux-elk-2024"}}
 {"ip_addr":"172.28.30.101","name":"wangwu","gender":"female","telephone":"44444","address":"zzz","email":"wangwu@qq.com"}
 {"create":{"_index":"cluster-linux-elk-2024"}}
 {"ip_addr":"172.28.50.15","name":"zhaoliu","gender":"female","telephone":"55555","address":"ddd","email":"zhaoliu@qq.com"}
 {"create":{"_index":"cluster-linux-elk-2024"}}
 {"ip_addr":"10.0.0.67","name":"xiaoli","gender":"male","telephone":"66666","address":"aaa","email":"xiaoli@qq.com"}
 ​
 # 基于genders搜索
 FET http://192.168.1.10:9200/cluster-linux-elk-2024/_search
 {
     "query":{
         "match":{
             "gender":"female"
         }
     }
 }
 ​
 # 注意:type类型为keyword的查询时得一致，反之;index默认为true,代表可以查询,反之

6、中文分词器官

6.1、内置的标准分词器-分析英文

 # 标准分词器模式使用空格和符号进行切割分词的;
 GET http://192.168.1.10:9200/_analyze
 {
     "analyzer":"standard",
     "text":"My name is Zhangsan and I'm 18 years old !"
 }

6.2、内置的标准分词器-分析中文并不友好

 # 标准分词器模式使用单个汉字进行分隔;
 GET http://192.168.1.10:9200/_analyze
 {
     "analyzer":"standard",
     "text":"我爱北京天安门!"
 }

6.3、下载中文分词器

 https://github.com/medcl/elasticsearch-analysis-ik

安装IK分词器

 install -d /cluster/softwares/es/plugins/ik -o elsearch -g elsearch
 cd /cluster/softwares/es/plugins/ik
 unzip elasticsearch-analysis-ik-7.17.3.zip 
 rm -f elasticsearch-analysis-ik-7.17.3.zip
 chown -R elsearch:elsearch *

重启ES节点，使其加载插件；

 systemctl restart es

测试IK分词器

 # 细粒度拆分
 GET http://192.168.1.10:9200/_analyze
 {
     "analyzer":"ik_max_word",
     "text":"我爱北京天安门"
 }
 ​
 # 粗粒度拆分
 GET http://192.168.1.10:9200/_analyze
 {
     "analyzer":"ik_smart",
     "text":"我爱北京天安门"
 }

6.7、自定义字典

 # 进入到IK分词器的插件安装目录
 cd /cluster/softwares/es/plugins/ik/config
 ​
 # 自定义字典
 cat > cluster-linux.dic << 'EOF'
 上号
 EOF
 chown elsearch:elsearch cluster-linux.dic
 ​
 # 加载自定义字典
 vim IKAnalyzer.cfg.xml
 ..
 <entry key="ext_dict">cluster-linux.dic</entry>
 ​
 # 重启ES集群
 systemctl restart es
 ​
 # 测试分词器
 GET http://192.168.1.10:9200/_analyze
 {
     "analyzer":"ik_smart",
     "text":"嗨，哥们，上号!"
 }

致谢

在此，我要对所有为知识共享做出贡献的个人和机构表示最深切的感谢。同时也感谢每一位花时间阅读这篇文章的读者，如果文章中有任何错误，欢迎留言指正。 

学习永无止境，让我们共同进步！！


http://www.kler.cn/a/289225.html

相关文章：

  • 灰狼优化算法
  • 机器学习——贝叶斯
  • ElasticSearch学习笔记一：简单使用
  • 「数据要素」行业简报｜2024.11.上刊
  • #渗透测试#SRC漏洞挖掘#云技术基础02之容器与云
  • 树-好难-疑难_GPT
  • 达梦常用SQL及脚本工具
  • 哈希 详解
  • echart自适应tree树图，结构组织图模板
  • 国赛数模C题模型（五）
  • 将泛型和函数式编程结合，竟然会让代码这么优雅！
  • (一)、软硬件全开源智能手表，与手机互联，标配多表盘，功能丰富(ZSWatch-Zephyr)
  • 大数据系列之：OutOfMemoryError: unable to create new native thread
  • 简单好用的SD卡克隆软件：轻松克隆SD卡
  • 路径优化 minimum-snap（对A*的全局路径进行优化）
  • 使用Python写一个适用于Dify和FastGPT的JsonPath插件
  • VideoCrafter1:Open Diffusion models for high-quality video generation
  • 【Android】最好用的网络库：Retrofit
  • 深度学习中的PyTorch Tensor详解
  • IntelliJ IDEA 自定义字体大小
  • Milvus向量数据库-数据备份与恢复
  • Kotlin 流 Flow
  • pikachu文件包含漏洞靶场
  • JavaScript-document.write和innerHTML的区别
  • Unity(2022.3.41LTS) - UI详细介绍-Scroll View(滚动视图)
  • Flink 1.14.* Flink窗口创建和窗口计算源码