【后端面试总结】ES的_template与_index_template技术详解
在Elasticsearch（简称ES）中，索引模板（Index Template）和组件模板（Component Template）是两种用于预定义索引配置的强大工具。它们允许用户在索引创建时自动应用预设的设置、映射（Mappings）和别名（Aliases），从而简化索引管理过程。本文将详细介绍ES中的_template和_index_template的概念、用途、创建、查询、更新及删除等操作。
一、_template与_index_template概述
在Elasticsearch的早期版本中，索引模板通过_template端点进行管理。随着版本的更新，Elasticsearch引入了更灵活和强大的_index_template端点来管理索引模板。_template和_index_template在功能上是相似的，都是用于定义一组索引的配置，但它们在API设计和使用上存在一些差异。
- _template：这是Elasticsearch早期版本中用于管理索引模板的端点。虽然在新版本中仍然可用，但官方推荐使用_index_template端点来管理索引模板。
- _index_template：这是Elasticsearch 7.8版本及以后引入的用于管理索引模板的端点。它提供了更灵活和强大的功能，如支持组件模板、优先级控制等。
二、索引模板的用途
索引模板在Elasticsearch中具有广泛的应用场景，特别是在处理大量相似索引时尤为有用。以下是一些常见的用途：
- 统一配置：通过索引模板，可以为一组索引统一配置分片数、副本数、映射等设置，避免为每个索引单独配置。
- 时间序列数据：在处理时间序列数据时，如日志、监控数据等，可以定期创建新的索引，并通过索引模板自动应用预设的配置。
- 简化管理：索引模板可以简化索引管理过程，减少人为错误，提高管理效率。
三、创建索引模板
在Elasticsearch中，可以通过PUT请求创建索引模板。以下是一个使用_index_template端点创建索引模板的示例：
PUT /_index_template/template_1
{
"index_patterns": ["logs-*"], // 匹配索引名称模式
"template": {
"settings": {
"number_of_shards": 5, // 设置索引分片数量
"number_of_replicas": 1, // 设置副本数量
"refresh_interval": "5s" // 设置索引刷新间隔
},
"mappings": {
"properties": {
"timestamp": {
"type": "date",
"format": "yyyy-MM-dd HH:mm:ss.SSS"
},
"message": {
"type": "text",
"analyzer": "standard"
}
}
},
"aliases": {
"all_logs": {} // 创建索引别名
}
},
"priority": 1, // 模板优先级，数值越大优先级越高
"version": 1 // 模板版本，便于后期升级和管理
}
在上面的示例中，我们创建了一个名为template_1的索引模板，它匹配所有以logs-开头的索引。模板中定义了索引的分片数、副本数、映射和别名等设置。
四、组件模板
组件模板是可重用的构建块，用于配置映射、设置和别名。它们不会直接应用于一组索引，而是可以在索引模板中被引用。以下是一个创建组件模板的示例：
PUT /_component_template/component_template1
{
"template": {
"mappings": {
"properties": {
"@timestamp": {
"type": "date"
}
}
}
}
}
在创建索引模板时，可以引用组件模板来组合配置。以下是一个使用组件模板的索引模板示例：
PUT /_index_template/template_using_component
{
"index_patterns": ["bar*"],
"template": {
"settings": {
"number_of_shards": 1
},
"mappings": {
"_source": {
"enabled": true
},
"properties": {
"host_name": {
"type": "keyword"
},
"created_at": {
"type": "date",
"format": "EEE MMM dd HH:mm:ss Z yyyy"
}
}
},
"aliases": {
"mydata": {}
}
},
"priority": 500,
"composed_of": ["component_template1"] // 引用组件模板
}
五、查询、更新及删除索引模板
- 查询索引模板：可以通过GET请求查询一个或多个索引模板的详细信息。例如，查询所有索引模板：
GET /_index_template
-
更新索引模板：更新索引模板的操作与创建索引模板的操作类似，只需要重新发送PUT请求并指定模板的ID和新的配置即可。如果模板不存在，则会创建新的模板；如果模板已存在，则会更新现有模板的配置。
-
删除索引模板：可以通过DELETE请求删除一个或多个索引模板。例如，删除名为template_1的索引模板：
DELETE /_index_template/template_1
六、注意事项
- 模板匹配顺序：如果新创建的索引匹配了多个索引模板，Elasticsearch会按照模板的优先级（priority）和创建时间来决定最终应用哪个模板。优先级高的模板会在优先级低的模板之前应用。如果多个模板的优先级相同，则按照创建时间的先后顺序应用。
- 模板生效时机：索引模板仅在索引创建时才会生效。修改模板不会影响已经存在的索引。如果需要更改现有索引的配置，需要直接对索引进行相应操作。
- 版本控制：索引模板可以添加一个版本号（version），以简化外部系统对模板的管理。版本号是完全可选的，它仅用于模板的外部管理。
七、总结
ES的_template和_index_template是两种用于预定义索引配置的强大工具。它们允许用户在索引创建时自动应用预设的设置、映射和别名等配置，从而简化索引管理过程。通过合理使用索引模板和组件模板，用户可以更高效地管理大量相似索引，提高管理效率并减少人为错误。