【Elasticsearch】管道聚合
管道聚合就是在已有聚合结果之上在进行聚合，管道聚合是针对于聚合的聚合
在 Elasticsearch 中，管道聚合（Pipeline Aggregations）是一种特殊的聚合类型，用于对其他聚合的结果进行进一步的计算和处理，而不是直接从文档集合中提取数据。管道聚合可以基于其他聚合的输出来生成新的聚合结果，从而实现更复杂的数据分析。
管道聚合的主要特点
1. 基于其他聚合的输出：
• 管道聚合不直接处理文档数据，而是对其他聚合的结果进行计算。
• 例如，计算某个聚合结果的导数、移动平均值、最大值等。
2. 链式调用：
• 管道聚合可以链式调用，即一个管道聚合的结果可以作为另一个管道聚合的输入。
• 例如，计算二阶导数（即导数的导数）。
3. 灵活的引用：
• 使用`buckets_path`参数来引用其他聚合的结果。
• 可以引用嵌套聚合的结果，也可以引用同级聚合的结果。
4. 不能有子聚合：
• 管道聚合本身不能包含子聚合，但可以通过引用其他聚合的结果来实现类似的功能。
管道聚合的类型
Elasticsearch 提供了多种类型的管道聚合，每种类型用于不同的计算场景。以下是一些常见的管道聚合类型：
1.导数聚合（Derivative）
计算某个聚合结果的变化率。例如，计算销售额的每日变化率。
```json
{
"aggs": {
"sales_per_day": {
"date_histogram": {
"field": "timestamp",
"calendar_interval": "day"
},
"aggs": {
"total_sales": {
"sum": {
"field": "sales"
}
},
"sales_derivative": {
"derivative": {
"buckets_path": "total_sales"
}
}
}
}
}
}
```
2.移动平均聚合（Moving Average）
计算某个聚合结果的移动平均值。例如，计算7天的移动平均销售额。
```json
{
"aggs": {
"sales_per_day": {
"date_histogram": {
"field": "timestamp",
"calendar_interval": "day"
},
"aggs": {
"total_sales": {
"sum": {
"field": "sales"
}
},
"moving_avg_sales": {
"moving_avg": {
"buckets_path": "total_sales",
"window": 7
}
}
}
}
}
}
```
3.累计和聚合（Cumulative Sum）
计算某个聚合结果的累计和。例如，计算销售额的累计和。
```json
{
"aggs": {
"sales_per_day": {
"date_histogram": {
"field": "timestamp",
"calendar_interval": "day"
},
"aggs": {
"total_sales": {
"sum": {
"field": "sales"
}
},
"cumulative_sales": {
"cumulative_sum": {
"buckets_path": "total_sales"
}
}
}
}
}
}
```
4.桶脚本聚合（Bucket Script）
基于多个聚合结果进行自定义计算。例如，计算 T 恤销售额占总销售额的百分比。
```json
{
"aggs": {
"sales_per_month": {
"date_histogram": {
"field": "order_date",
"calendar_interval": "month"
},
"aggs": {
"total_sales": {
"sum": {
"field": "sales"
}
},
"tshirt_sales_sum": {
"sum": {
"field": "tshirt_sales"
}
},
"tshirt_sales_percentage": {
"bucket_script": {
"buckets_path": {
"total": "total_sales",
"tshirt": "tshirt_sales_sum"
},
"script": "params.total > 0 ? (params.tshirt / params.total * 100) : 0"
}
}
}
}
}
}
```
5.最大桶聚合（Max Bucket）
从兄弟聚合中选择最大值。例如，计算每月最大销售额。
```json
{
"aggs": {
"sales_per_month": {
"date_histogram": {
"field": "date",
"calendar_interval": "month"
},
"aggs": {
"sales": {
"sum": {
"field": "price"
}
}
}
},
"max_monthly_sales": {
"max_bucket": {
"buckets_path": "sales_per_month>sales"
}
}
}
}
```
管道聚合的使用场景
1. 时间序列分析：
• 计算时间序列数据的变化率（导数）、移动平均值、累计和等。
• 适用于销售额、流量、温度等时间序列数据的分析。
2. 比例和百分比计算：
• 计算某个指标占总指标的比例或百分比。
• 例如，计算某个产品的销售额占总销售额的百分比。
3. 异常检测：
• 通过计算导数或移动平均值，检测数据中的异常点。
• 例如，检测销售额的突然变化。
4. 多指标比较：
• 使用桶脚本聚合对多个指标进行自定义计算。
• 例如，计算两个指标的比值或差值。
注意事项
1. 性能问题：
• 管道聚合的计算基于其他聚合的结果，可能会增加查询的复杂度和计算时间。
• 在处理大规模数据时，需要特别注意性能优化。
2. `buckets_path`的正确使用：
• 确保`buckets_path`的路径正确，避免路径错误导致查询失败。
• 使用相对路径时，注意路径的层级关系。
3. 脚本的安全性：
• 在使用脚本时，确保脚本逻辑正确，避免除以零等错误。
• 例如，使用条件语句`params.total > 0 ? (params.tshirt / params.total * 100) : 0`。
总结
管道聚合是 Elasticsearch 中一种强大的工具，用于对其他聚合的结果进行进一步的计算和分析。通过合理使用管道聚合，可以实现复杂的数据分析需求，例如时间序列分析、比例计算、异常检测等。掌握管道聚合的使用方法和注意事项，可以帮助你更高效地进行数据分析和查询优化。