【Elasticsearch】文本分类聚合Categorize Text Aggregation
响应参数讲解:
key （字符串）由 categorization_analyzer 提取的标记组成，这些标记是类别中所有输入字段值的共同部分。 doc_count （整数）与类别匹配的文档数量。 max_matching_length （整数）从较短消息中生成的类别也可能与从较长消息中生成的类别匹配。 max_matching_length 表示应被视为属于该类别的消息的最大长度。在搜索属于该类别的消息时，任何长度超过 max_matching_length 的消息都应被排除。使用此字段可以防止对短消息类别的搜索匹配到更长的消息。
regex （字符串）一个正则表达式，它将匹配类别中包含的所有输入字段值。在类别中包含的值的顺序不同时， regex 可能不会包含 key 中的每个术语。然而，在简单情况下， regex 将是按顺序连接的术语组成的正则表达式，允许在它们之间有任意部分。不建议将 regex 作为搜索原始被分类文档的主要机制，因为正则表达式搜索非常慢。相反，应该使用 key 字段中的术语来搜索匹配的文档，因为术语搜索可以利用倒排索引，因此速度要快得多。然而，在某些情况下，使用 regex 字段来测试未被索引的少量消息是否属于该类别，或者确认 key 中的术语在所有匹配文档中按正确顺序出现，可能是有用的。
总结:
重新分析大型结果集将需要大量的时间和内存。应将此聚合与异步搜索（Async search）结合使用。此外，你还可以考虑将该聚合作为采样器（sampler）或多样化采样器（diversified sampler）聚合的子聚合使用。这通常可以提高速度和内存使用效率。
POST log-messages/_search
{
"aggs": {
"categories": {
"categorize_text": {
"field": "message"
}
}
}
}
输出
{
"aggregations": {
"categories": {
"buckets": [
{
"doc_count": 3,
"key": "Node shutting down",
"regex": ".*?Node.+?shutting.+?down.*?",
"max_matching_length": 49
},
{
"doc_count": 1,
"key": "Node starting up",
"regex": ".*?Node.+?starting.+?up.*?",
"max_matching_length": 47
}
]
}
}
}
使用 categorization_analyzer 的示例配置：
{
"aggs": {
"categories": {
"categorize_text": {
"field": "message",
"categorization_analyzer": {
"char_filter": ["html_strip"],
"tokenizer": "ml_standard",
"filter": ["lowercase", "stop"]
}
}
}
}
}
使用 categorization_filters 的示例配置：
{
"aggs": {
"categories": {
"categorize_text": {
"field": "message",
"categorization_filters": [
"\\w+\\_\\d{3}", // 过滤掉类似 "foo_123" 的模式
"ERROR:.*" // 过滤掉以 "ERROR:" 开头的日志
]
}
}
}
}