ES跟Kafka集成
配合流程
1. Kafka作为分布式流处理平台，能够实时收集和处理不同数据源的数据流；
2. 通过Kafka Connect或者Logstash等中间件，可以将Kafka中的数据流实时推送到Elasticsearch中；
3. Elasticsearch接收到数据后，会根据定义的索引和文档结构进行存储和管理。
Logstash配置
配置Logstash Kafka input插件
创建kafka_test_pipeline.conf文件内容如下：
input{
kafka{
bootstrap_servers=>"192.168.13.10:9092"
topics=>["kafka_es_test"]
group_id=>"logstash_kafka_test"
}
}
output{
elasticsearch{
hosts=>["192.168.0.8:9200"]
}
}应用场景
1. 实时数据分析：如金融交易，电商分析等；
2. 实时监控；
3. 实时搜索：对于需要快速响应搜索请求的场景非常实用。