es 3期 第20节-运用指标聚合快速统计数值
#### 1.Elasticsearch是数据库，不是普通的Java应用程序，传统数据库需要的硬件资源同样需要，提升性能最有效的就是升级硬件。
#### 2.Elasticsearch是文档型数据库，不是关系型数据库，不具备严格的ACID事务特性，任何企图直接替代严格事务性场景的应用项目都会失败!!!
##### 索引字段与属性都属于静态设置，若后期变更历史数据需要重建索引才可生效
##### 对历史数据无效！！！！
##### 一定要重建索引！！！！
#### 1、aggs聚合概念介绍
### 聚合概念介绍
## 1.前面学习的都是ES查询数据，俗称明细查询;聚合就是统计分析，基于明细数据深入统计，按照不同的业务需求维度
## 2.ClickHouse vs Elasticsearch
### 聚合底层存储
## 1.Doc_values:ES内部使用列式存储机制
## 2.OLTP/OLAP/HTAP
## 3.凡是row-based数据产品都不适合做数据分析
### 聚合执行过程
## 1.客户端发送聚合请求
## 2.协调节点分发聚合请求
## 3.协调节点合并聚合结果
## 4.协调节点返回聚合结果
## 5.MPP(大规模并行处理)执行过程
### 聚合类型划分
## metric 数值指标聚合统计
## bucket 分桶分组聚合统计
## pipeline 管道二次聚合统计
## Matrix(数值)矩阵计算聚合统计（划分到数值里面了）
#### 2、metric数值聚合实战
### Metric聚合函数
## 1:仅限多种类似数值统计
## 2:包括单值/多值
### 初体验聚合
## 聚合关键字
# Aggs
# 聚合层级限制支持多层级，
# 聚合便利
# 1.可查询明细数据、过滤数据
# 2.可分页查询
# 3.可返回总数
# 4.可聚合统计
# 查询统计
# 便利性体现在，一个查询语句可以拿到总数、行数据、统计数据，相对传统数据库来说要执行3次sql才能做到
GET kibana_sample_data_ecommerce/_search
{
// 从第0个开始返回明细
"from":0,
// 返回2个明细数据
"size":2,
// 返回总行数
"track_total_hits":true,
// 过滤条件
"query":{
"term": {
"day_of_week": {
"value": "Monday"
}
}
},
"aggs":{
"sum_taxful_total_price":{
// 总和
"sum": {
"field": "taxful_total_price"
}
}
}
}### 常用指标聚合
## 数值统计
# 聚合函数Sum/max/min/avg/stats/extended_stats
# 单个值的数值统计
# 浮点数值统计精确性问题
# 注意 taxful_total_price字段是float类型，数据本身只有2为小数，统计后会产生多小数，这是因为es底层是java写的，java自带的问题
GET kibana_sample_data_ecommerce/_search
{
// size=0，明确表示不需要返回明细数据，好习惯
"size":0,
"track_total_hits":true,
"aggs":{
"sum_taxful_total_price":{
// 总和
"sum": {
"field": "taxful_total_price",
// 防止字段缺失或数据为null的情况，使用0填补
// 这是个好习惯（字段缺失对es来说不友好）
"missing": 0
}
},
"avg_taxful_total_price":{
// 平均值
"avg": {
"field": "taxful_total_price"
}
},
"max_taxful_total_price":{
// 最大值
"max": {
"field": "taxful_total_price"
}
},
"min_taxful_total_price":{
// 最小值
"min": {
"field": "taxful_total_price"
}
}
}
}## stats 多种类型统计
# 查询结果里count、min、max、avg、sum都返回的
GET kibana_sample_data_ecommerce/_search
{
// size=0，明确表示不需要返回明细数据，好习惯
"size":0,
"track_total_hits":true,
"aggs":{
"stats_taxful_total_price":{
// 多种类型统计,查询结果里count、min、max、avg、sum都返回的
"stats": {
"field": "taxful_total_price",
// 防止字段缺失或数据为null的情况，使用0填补
// 这是个好习惯（字段缺失对es来说不友好）
"missing": 0
}
}
}
}## extended_stats 类型统计
# 在stats扩展了更多的统计方式
GET kibana_sample_data_ecommerce/_search
{
// size=0，明确表示不需要返回明细数据，好习惯
"size":0,
"track_total_hits":true,
"aggs":{
"extended_stats_taxful_total_price":{
// 扩展多种类型统计
"extended_stats": {
"field": "taxful_total_price",
// 防止字段缺失或数据为null的情况，使用0填补
// 这是个好习惯（字段缺失对es来说不友好）
"missing": 0
}
}
}
}### 百分比统计
# 聚合函数
# percetiles，计算数据的百分位占比，常见场景为计算响应时间的百分位数
## es 提供了两种不同的算法来计算百分位数：
# tdigest（默认）：使用 T-Digest 算法，适合处理大数据集，能够在较小的内存占用下提供较高的精度。
# hdr：使用 HDR（High Dynamic Range）直方图算法，适合需要极高精度的场景，但可能会占用更多的内存。
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-percentile-aggregation.html
# tdigest 和 hdr 算法都允许你通过 compression 参数来调整精度和内存占用之间的平衡。较大的 compression 值会提高精度，但也会增加内存消耗。
GET kibana_sample_data_ecommerce/_search
{
// size=0，明确表示不需要返回明细数据，好习惯
"size":0,
"track_total_hits":true,
"aggs":{
"percentiles_taxful_total_price":{
// 扩展多种类型统计,
"percentiles": {
"field": "taxful_total_price",
// percents 默认就是下面的百分比区间，可以不写，范围在0到100
"percents": [1, 5, 25, 50, 75, 95, 99],
// 不同的返回格式，默认true
"keyed":true,
"tdigest":{
// 默认100
"compression": 100
}
}
}
}
}
## 响应结果解释
# {
# "aggregations": {
# "percentiles_taxful_total_price": {
# "values": {
# "1.0": 21.984375, // 有 1% 的数据小于等于21.984375
# "5.0": 27.984375, // 有 5% 的数据小于等于27.984375
# "25.0": 44.96875, // 有 25% 的数据小于等于44.96875
# "50.0": 63.96875, // 有 50% 的数据小于等于63.96875
# "75.0": 93.03563731527095, // 有 75% 的数据小于等于93.03563731527095
# "95.0": 156, // 有 95% 的数据小于等于156
# "99.0": 222 // 有 99% 的数据小于等于222
# }
# }
# }
# }## 使用hdr高精度的统计
# number_of_significant_value_digits 有效数字精度值，默认值3
# 较高的值：保留更多的有效数字，计算结果更精确，但可能会占用更多的内存和计算资源。
# 较低的值：保留较少的有效数字，计算结果的精度较低，但可以减少内存占用和提高性能。
GET kibana_sample_data_ecommerce/_search
{
// size=0，明确表示不需要返回明细数据，好习惯
"size":0,
"track_total_hits":true,
"aggs":{
"percentiles_taxful_total_price":{
// 扩展多种类型统计,
"percentiles": {
"field": "taxful_total_price",
"percents": [1, 5, 25, 50, 75, 95, 99],
"hdr": {
"number_of_significant_value_digits": 3
}
}
}
}
}## percentile_ranks
# 根据提供的一个或多个具体值，返回这些值在数据集中的百分位位置
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"percentiles_ranks_taxful_total_price": {
"percentile_ranks": {
"field": "taxful_total_price",
"values": [50, 100, 200] // 要计算百分位排名的具体值
}
}
}
}
# 响应结果解析
# 应用场景，今年花费了了xxx元，打败了百分之多少的人
# {
# "aggregations": {
# "percentiles_ranks_taxful_total_price": {
# "values": {
# "50.0": 34.56951871657754, // 50这个值大约位于第 34.56951871657754 百分位
# "100.0": 79.31550802139039, // 100这个值大约位于第 79.31550802139039 百分位
# "200.0": 98.43850267379679 // 200这个值大约位于第 98.43850267379679 百分位
# }
# }
# }
# }## cardinality 基数统计
# 聚合函数
# carintility:背后的算法Hyperloglog，该算法是非精确型的，默认3000个，ES最高支持40000个，超过了就是非精确型的
# 用于去重统计，如电商UV/PV
# precision_threshold 准确的阈值，默认3000，低于该计数预计将接近准确。超过这个值，计数可能会变得有点模糊。支持的最大值是40000
# https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-cardinality-aggregation.html
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"cardinality_customer_id": {
"cardinality": {
// 用户id维度去重，相当于uv
"field": "customer_id",
// 默认值3000
"precision_threshold": 3000
}
}
}
}## value_count 字段值数量统计
# 数据值条数统计，没有去重
# 数值统计里面有多少条数据，当统计层级多的时候很有用
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"cardinality_customer_id": {
"value_count": {
// 用户id维度去重，相当于uv
"field": "customer_id"
}
}
}
}## string_stats 字符串统计
# 聚合函数
# string_stats仅限keyword类型
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"string_stats_customer_full_name": {
"string_stats": {
"field": "customer_full_name.keyword"
}
}
}
}### 脚本聚合
# 聚合函数
# Script
# 脚本能少用就少用，非必要不使用
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"avg_script_customer_full_name": {
"avg": {
"script": {
"source": """
doc['taxful_total_price'].value*10000;
"""
}
}
}
}
}### 聚合分组明细数据
# 聚合函数
# top_hits,分组分桶查询时，设返回每组的top明细数据
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"my_customer_id": {
"terms": {
// 根据用户id聚合
"field": "customer_id",
// 返回10条
"size": 10
},
"aggs": {
"NAME": {
"top_hits": {
// 每个聚合结果里返回一条明细数据
"size": 1
}
}
}
}
}
}### 头部指标聚合数据
# 聚合函数
# top_metrics
GET kibana_sample_data_ecommerce/_search
{
"size": 0,
"track_total_hits":true,
"aggs": {
"my_customer_id": {
"terms": {
// 根据用户id聚合
"field": "customer_id",
// 返回10条
"size": 10
},
"aggs": {
"NAME": {
"top_metrics": {
"metrics": [
{ "field": "taxful_total_price" } // 指定要提取的指标字段
],
"sort": [ // 指定排序条件
{ "taxful_total_price": {"order": "desc"}} // 按某个字段降序排序,返回值就是最大的
]
}
}
}
}
}
}### 其它数据聚合
# 聚合函数Geo.xxx，地理位置聚合
# Weight AVG 权重指标聚合
#### 3、指标聚合建议与经验分享
## 聚合、明细查询、总数量
## 聚合与分片数量的关系（最好不要多个分片，但分片最好，es单分片支持<=65gb）
## 聚合列数数量与性能（同时统计多个指标看下对性能的影响）
## 聚合性能与缓存（希望聚合有缓存的话就每次都去查询同一个分片）
# 分片缓存
# 利用分片缓存，原则是尽量将查询分布在同一分片上，而不是利用ES自动选择分片的机制
# preference，分片选择参数，固定值local，或者固定分片编号
# GET kibana_sample_data_ecommerce/_search?preference=_local
## 聚合与浮点类型精确度
# 在数值聚合时，特别要注意 float与 double 类型，ES 是基于 Java 编写，会出现精度问题
# 尽量采用 long 类型或者其它数值类型来避免此精度问题
# ES 执行指标统计时底层采用 double 类型来构建，数值过长是基于近似，而非精确类型
## 聚合数值长度（最长支持long类型2的63次方）
# aggs 聚合
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations.html
# 指标聚合
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics.html
# top-hits 聚合明细
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-top-hits-aggregation.html
# top-metrics 聚合明细数值
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/search-aggregations-metrics-top-metrics.html
# 分片缓存
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/shard-request-cache.html
# collapse 查询结果折看
# https://www.elastic.co/guide/en/elasticsearch/reference/8.6/collapse-search-results.html