当前位置：首页 > article >正文

ElasticSearch-倒排索引文档映射

article 2024/11/15 9:13:23

倒排索引
文档映射
- 已有字段的Mapping修改
- 常用Mapping参数配置
- Index Template
- Dynamic Template

倒排索引

当数据写入 ES 时，数据将会通过分词被切分为不同的 term，ES 将 term 与其对应的文档列表建立一种映射关系，这种结构就是倒排索引
为了进一步提升索引的效率，ES 在 term 的基础上利用 term 的前缀或者后缀构建了 term index, 用于对 term 本身进行索引
当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数
- 单词词典（Term Dictionary) ：记录所有文档的单词，记录单词到倒排列表的关联关系
- 倒排列表（Posting List）：记录了单词对应的文档结合，由倒排索引项组成
- 倒排索引项（Posting）：
  - 文档ID
  - 词频TF：该单词在文档中出现的次数，用于相关性评分
  - 位置 (Position)：单词在文档中分词的位置。用于短语搜索（match phrase query)
  - 偏移 (Offset)：记录单词的开始结束位置，实现高亮显示
Elasticsearch 的JSON文档中的每个字段，都有自己的倒排索引
可以指定对某些字段不做索引
- 优点︰节省存储空间
- 缺点: 字段无法被搜索

文档映射

Mapping类似数据库中的schema的定义，作用如下
- 定义索引中的字段的名称
- 定义字段的数据类型，例如字符串，数字，布尔等
- 字段，倒排索引的相关配置 (Analyzer)
ES中Mapping映射可以分为动态映射和静态映射
- 动态映射：不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射
  - 动态映射（Dynamic Mapping）的机制，使得我们无需手动定义Mappings，Elasticsearch会自动根据文档信息，推算出字段的类型
  - 但是有时候会推算的不对，例如地理位置信息
  - 当类型如果设置不对时，会导致一些功能无法正常运行，例如Range查询
- 静态映射：事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射

已有字段的Mapping修改

后期更改Mapping的字段类型
- 新增加字段
  - dynamic设为true时，一旦有新增字段的文档写入，Mapping也同时被更新
  - dynamic设为false，Mapping 不会被更新，新增字段的数据无法被索引，但是信息会出现在_source中
  - dynamic设置成strict (严格控制策略)，文档写入失败，抛出异常
- 对已有字段，一旦已经有数据写入，就不再支持修改字段定义
  - Lucene 实现的倒排索引，一旦生成后，就不允许修改
  - 如果希望改变字段类型，可以利用 reindex API，重建索引
- 原因
  - 如果修改了字段的数据类型，会导致已被索引的数据无法被搜索
  - 但是如果是增加新的字段，就不会有这样的影响
对已有字段的mapping修改：实现索引的平滑过渡，并且是零停机
- 如果要推倒现有的映射, 你得重新建立一个静态索引
- 然后把之前索引里的数据导入到新的索引里 POST _reindex
- 删除原创建的索引
- 为新索引起个别名, 为原索引名 PUT /user2/_alias/user

PUT /user2
{"mappings":{
   "properties":{"name":{"type":"text"}}}}
POST _reindex
{"source":{"index":"user"},
 "dest":{"index":"user2"}}
DELETE /user
PUT /user2/_alias/user

常用Mapping参数配置

index: 控制当前字段是否被索引，默认为true
- 如果设置为false，该字段不可被搜索

PUT /user
{"mappings": {
  "properties": {
   "name":{"type":"text","index":false}}}}

有四种不同基本的index options配置，控制倒排索引记录的内容
- docs : 记录doc id
- freqs：记录doc id 和term frequencies（词频）
- positions: 记录doc id / term frequencies / term position
- offsets: doc id / term frequencies / term posistion / character offsets
text 类型默认记录 postions，其他默认为 docs
- 记录内容越多，占用存储空间越大

PUT /user
{"mappings":{
  "properties": {
   "name":{"type":"text","index_options":"offsets"}}}}

null_value: 需要对Null值进行搜索，只有keyword类型支持设计Null_Value才行

PUT /user
{"mappings":{
  "properties": {
   "name":{"type":"keyword","null_value":"NULL"}}}}

copy_to设置：将字段的数值拷贝到目标字段，满足一些特定的搜索需求
- copy_to的目标字段不出现在_source中

PUT /user
{"mappings":{
  "properties":{
   "name":{"type":"text","copy_to":"full_address"}}}}

Index Template

Index Templates可以帮助你设定Mappings和Settings，并按照一定的规则，自动匹配到新创建的索引之上
- 模版仅在一个索引被新创建时，才会产生作用。修改模版不会影响已创建的索引
- 你可以设定多个索引模版，这些设置会被“merge”在一起
- 你可以指定“order”的数值，控制“merging”的过程
当一个索引被新创建时
- 应用Elasticsearch 默认的settings 和mappings
- 应用order数值低的lndex Template 中的设定
- 应用order高的 Index Template 中的设定，之前的设定会被覆盖
- 应用创建索引时，用户所指定的Settings和 Mappings，并覆盖之前模版中的设定

PUT /_template/template_default 
{"index_patterns": ["*"],
 "order": 0,
 "version": 1, 
 "settings": { 
   "number_of_shards":1,
   "number_of_replicas":1}}

Dynamic Template

Dynamic Tempate定义在某个索引的Mapping中

PUT my_index
{"mappings":{
  "dynamic_templates":[{
   "strings_as_boolean":{
   "match_mapping_type":"string", 
   "match":"is*",
   "mapping":{"type":"boolean"}}}]}}

查看全文

http://www.kler.cn/a/292684.html