【Elasticsearch】运行时字段（Runtime Fields）索引时定义运行时字段
在 Elasticsearch 中，运行时字段（Runtime Fields）是一种在查询时动态计算的字段，而不是在索引时预先存储的字段。运行时字段为数据处理提供了极大的灵活性，尤其是在处理结构不固定的日志数据或需要动态生成字段值的场景中。
运行时字段的主要特点
1. 动态计算：
• 运行时字段的值是在查询时通过 Painless 脚本动态生成的，而不是在索引时存储的。
• 这种方式允许在不重新索引数据的情况下，向现有文档添加新字段。
2. 节省存储空间：
• 由于运行时字段不会被索引，因此不会增加索引的存储成本。
• 这使得运行时字段特别适合用于临时字段或不经常查询的字段。
3. 灵活性：
• 运行时字段可以在查询、聚合和排序中使用，而脚本字段（Script Fields）仅能用于获取值。
• 它们可以在查询时覆盖索引字段的值，或者为特定用途定义字段，而无需修改底层架构。
4. 支持多种数据类型：
• 运行时字段支持多种数据类型，包括`boolean`、`date`、`keyword`、`ip`等。
• 对于`date`类型的运行时字段，还可以指定格式参数。
定义运行时字段
运行时字段可以通过以下两种方式定义：
• 在索引映射中定义：
```json
PUT my-index-000001
{
"mappings": {
"runtime": {
"day_of_week": {
"type": "keyword",
"script": {
"source": "emit(doc['@timestamp'].value.dayOfWeekEnum.getDisplayName(TextStyle.FULL, Locale.ENGLISH))"
}
}
},
"properties": {
"@timestamp": {"type": "date"}
}
}
}
```
在这个例子中，`day_of_week`是一个运行时字段，它基于`@timestamp`字段的值动态计算一周中的某一天。
• 在查询请求中定义：
```json
GET my-index-000001/_search
{
"runtime_mappings": {
"http.clientip": {
"type": "ip",
"script": """
String clientip=grok('%{COMMONAPACHELOG}').extract(doc["message"].value)?.clientip;
if (clientip != null) emit(clientip);
"""
}
},
"query": {
"match": {
"http.clientip": "40.135.0.0"
}
},
"fields": ["http.clientip"]
}
```
在这个例子中，运行时字段`http.clientip`在查询时动态生成，并用于查询和排序。
运行时字段的使用场景
1. 处理动态数据结构：
• 当您不确定数据结构或需要动态处理字段值时，运行时字段非常有用。
• 例如，日志数据的字段结构可能不固定，运行时字段可以动态解析这些字段。
2. 减少存储成本：
• 如果某些字段不需要频繁查询或聚合，可以将其定义为运行时字段，以节省存储空间。
3. 动态查询和聚合：
• 运行时字段可以在查询时动态生成值，因此可以用于复杂的查询和聚合。
4. 与脚本字段的区别：
• 脚本字段仅用于获取值，而运行时字段可以在查询、聚合和排序中使用。
注意事项
• 性能影响：
• 由于运行时字段是在查询时动态计算的，因此可能会对查询性能产生一定影响。
• 如果需要优化性能，建议将频繁查询的字段定义为索引字段。
• 错误处理：
• 如果脚本在运行时抛出错误（例如访问缺失字段或执行无效操作），可以使用`on_script_error`参数来控制错误行为。
运行时字段为 Elasticsearch 提供了强大的灵活性和动态性，使其能够更好地处理复杂的查询需求和动态数据结构。