当前位置： 首页 > article >正文

Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用

article 2025/1/18 18:21:17
Elasticsearch（ES）概述

Elasticsearch（ES）是一个基于Lucene的分布式、RESTful风格的搜索引擎。它提供了强大的全文索引、模糊查询、多条件组合查询、地理位置查询等功能，广泛应用于大数据量的检索场景，具有秒级响应能力。其设计初衷是为了提供高效的、分布式的实时搜索服务，能够快速处理PB级的结构化与非结构化数据。

ES的主要特点
  1. 分布式存储与搜索：每个字段都被索引且可以快速检索。ES的分布式设计可以横向扩展，支持处理PB级数据。
  2. 实时分析：提供近实时的搜索和分析功能，响应时间极短，适用于大规模数据的即时查询。
  3. RESTful API：简洁易用，支持多种编程语言，极大地方便了与其他应用系统的集成。
  4. 易于扩展：随着数据量的增长，可以通过增加节点来扩展系统，能够在高并发场景下提供稳定的性能。
ES vs MySQL: 为什么ES更快
  1. 基于分词的全文检索：
    • MySQL：使用 LIKE 查询时，通常会导致全表扫描，特别是当使用 % 通配符时，可能无法有效利用索引，性能急剧下降。
    • ES：ES对数据进行分词后，能通过倒排索引快速找到文档的位置。例如，当检索 “张三” 时，ES会快速定位到包含"张"和"三"的文档，不需要全表扫描。
  2. 精确检索：对于某些精确查询，MySQL可能更快，特别是在使用非聚合索引的情况下。但ES的分布式架构允许它在处理大规模数据时，通过并行查询和分片机制提升性能。ES还可以通过使用缓存进一步加速查询。
ES与MySQL的数据结构对比
特性MySQLElasticsearch
存储单位Table（表）Index（索引）
记录单位Row（行）Document（文档）
字段单位Column（列）Field（字段）
约束定义Schema（模式）Mapping（映射）
查询语言SQLDSL（查询语言）
  • Index：相当于数据库中的表。
  • Document：相当于数据库中的行，是实际存储的数据，格式为JSON。
  • Field：与数据库中的列对应，是文档中的字段。
  • Mapping：定义索引中文档的字段类型、约束等，类似数据库中的表结构。
ES倒排索引原理

ES采用倒排索引来加速检索。其工作原理如下：

  1. 分词：数据在写入ES之前，会经过分词器（例如IK Analyzer）对文本进行分词。
  2. 倒排索引：每个词都会被索引，并与文档ID（DocId）相关联。例如，若文档中包含某个词，倒排索引记录下该词及其出现文档的ID。

倒排索引的结构：

  • 单词Id：每个单词的唯一标识符。
  • 倒排列表：包含词频（TF）、文档ID（DocId）、词在文档中的位置等信息。
ES分词机制

在ES中，分词是一个至关重要的过程，它直接影响到搜索的效率与准确性。ES提供了多种分词器，可以根据需要选择不同粒度的分词策略。

  1. IK分词器：这是ES中常用的分词器，分为：
    • ik_max_word：最细粒度分词，适用于索引数据时，能够最大化覆盖词汇。
    • ik_smart：较粗粒度分词，适用于查询时，能够提高搜索的准确度。
  2. 分词场景应用：
    • 索引阶段：为了提高索引的覆盖度，通常会使用ik_max_word，将文本进行最细粒度的拆分，确保索引的全面性。
    • 查询阶段：使用ik_smart，通过较粗粒度的分词提高查询的效率。
ES 在 Spring Boot 中的使用

添加依赖

在Spring Boot项目中使用ES，可以通过spring-boot-starter-data-elasticsearch来简化配置。首先，添加如下依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

配置ES连接

在application.properties或application.yml中配置ES的连接信息：

spring.data.elasticsearch.cluster-name=elasticsearch
spring.data.elasticsearch.cluster-nodes=localhost:9200

创建ES实体类和Repository接口

@Document(indexName = "product", type = "doc")
public class Product {

    @Id
    private String id;
    private String name;
    private String description;

    // Getters and Setters
}

然后创建ElasticsearchRepository接口来处理数据操作：

public interface ProductRepository extends ElasticsearchRepository<Product, String> {
    List<Product> findByName(String name);
}

使用Repository操作数据

@Service
public class ProductService {

    @Autowired
    private ProductRepository productRepository;

    public List<Product> searchByName(String name) {
        return productRepository.findByName(name);
    }
}

搜索示例

@RestController
public class ProductController {

    @Autowired
    private ProductService productService;

    @GetMapping("/search")
    public List<Product> search(@RequestParam String name) {
        return productService.searchByName(name);
    }
}
ES的应用场景
  1. 全文搜索：ES擅长处理复杂的文本查询，特别适用于需要模糊匹配、关键词搜索的场景，例如电商平台的商品搜索、博客文章搜索等。
  2. 日志分析：ES可以快速处理海量日志数据并提供实时查询，常用于监控系统、错误日志分析、用户行为追踪等。
  3. 数据聚合与分析：ES支持高效的聚合查询，可以在海量数据中快速提取有价值的信息。例如，统计分析某些字段的分布情况。
  4. 地理位置查询：ES支持地理位置数据的处理，可以用于位置相关的查询，例如周边商户查询、定位服务等。

Elasticsearch（ES）与 MySQL 的对比分析及在 Spring Boot 中的使用

ES的性能优化与调优

1. 选择合适的分片数

在创建ES索引时，分片数的设计对性能影响非常大。假设你需要存储10亿条数据，在ES集群中需要分布式存储时，可以按照以下配置来设置索引的分片数：

PUT /my_index
{
  "settings": {
    "number_of_shards": 5,  // 根据数据量和硬件资源，设置分片数
    "number_of_replicas": 1  // 设置副本数，提高可用性
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "age": {
        "type": "integer"
      }
    }
  }
}
2. 调整缓存策略

可以通过设置查询缓存来提升查询性能：

PUT /my_index/_settings
{
  "settings": {
    "index.query.default_field": "name",  // 优化查询字段
    "index.cache.query.enabled": true,    // 开启查询缓存
    "index.cache.query.size": "100mb"     // 设置缓存大小
  }
}
3. 使用排序和分页

使用search_after避免传统分页的性能瓶颈：

GET /my_index/_search
{
  "query": {
    "match": {
      "name": "john"
    }
  },
  "sort": [
    { "date": { "order": "asc" } },
    { "_id": { "order": "desc" } }
  ],
  "size": 10,
  "search_after": ["2023-01-01T00:00:00", "document_id_001"]  // 提供上次查询的最后一个排序条件
}
4. 常见性能瓶颈
  • 字段数据类型不匹配：确保字段类型正确设置，例如，使用integer而不是text存储数字。
  • 内存瓶颈：可以通过调整JVM堆内存来避免性能下降：
ES_JAVA_OPTS="-Xms2g -Xmx2g"  # 设置ES的JVM堆内存为2GB
  • 磁盘瓶颈：使用SSD硬盘，提升磁盘I/O性能。

ES与MySQL的结合应用

1. 数据同步：MySQL与ES的数据同步

使用Logstash进行数据同步的配置示例如下：

input {
  jdbc {
    jdbc_driver_library => "/path/to/mysql-connector-java.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/my_database"
    jdbc_user => "root"
    jdbc_password => "password"
    statement => "SELECT * FROM users"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "users"
    document_id => "%{id}"
  }
}
2. ES加速MySQL查询

假设我们将ES用于MySQL的全文检索加速。可以通过将用户查询转发到ES进行快速搜索，再根据需要回退到MySQL进行数据验证：

// 使用Elasticsearch客户端查询数据
SearchResponse searchResponse = client.prepareSearch("users")
    .setQuery(QueryBuilders.matchQuery("name", "john"))
    .setSize(10)
    .get();

// 如果ES返回的结果不够精确，回退到MySQL进行查询
if (searchResponse.getHits().getHits().length == 0) {
    String sql = "SELECT * FROM users WHERE name LIKE ?";
    jdbcTemplate.query(sql, new Object[]{"%john%"}, new UserRowMapper());
}
3. 双写模式

在写入数据时，可以通过Spring事务管理将数据同时写入MySQL和ES：

@Transactional
public void saveUser(User user) {
    // 写入MySQL数据库
    userRepository.save(user);

    // 写入Elasticsearch
    elasticsearchRepository.save(user);
}

ES高级特性

1. 分布式特性

ES的分布式架构通过设置副本数和分片数实现数据的高可用和负载均衡：

PUT /my_index
{
  "settings": {
    "number_of_shards": 5,
    "number_of_replicas": 2  // 设置副本数
  }
}
2. 聚合查询

ES的聚合查询非常强大，可以进行复杂的数据统计。例如，计算每个用户的平均年龄：

GET /users/_search
{
  "aggs": {
    "average_age": {
      "avg": {
        "field": "age"
      }
    }
  }
}

Spring Boot中的ES集成高级实践

1. Spring Data Elasticsearch的高级特性
  • 自定义查询方法：在Spring Data Elasticsearch中，可以通过方法命名规则来自动生成查询。例如，通过以下代码实现按名称查找用户：
public interface UserRepository extends ElasticsearchRepository<User, String> {
    List<User> findByName(String name);  // 根据名称查找
}
  • 分页查询：使用Pageable进行分页查询：
Page<User> page = userRepository.findByName("john", PageRequest.of(0, 10));
  • 批量操作：Spring Data Elasticsearch支持批量保存数据：
List<User> users = Arrays.asList(new User("john", 30), new User("alice", 25));
userRepository.saveAll(users);
2. 事务管理与一致性

在Spring Boot中处理ES的事务可以通过分布式事务管理来确保一致性。比如，使用@Transactional确保MySQL和ES的数据一致性：

@Transactional
public void saveUserWithTransaction(User user) {
    // 保存数据到MySQL
    userRepository.save(user);

    // 保存数据到ES
    elasticsearchRepository.save(user);
}

ES的安全性与认证

1. 身份验证与授权

通过X-Pack或开源插件配置身份验证和授权。例如，使用X-Pack的配置：

xpack.security.enabled: true
xpack.security.authc.realms.native.native1:
  order: 0

通过开源插件Search Guard配置：

searchguard.authcz.admin_dn:
  - "CN=admin, OU=example, O=example"
2. 保护敏感数据

使用Elasticsearch的加密功能来保护敏感数据，确保传输中的数据被加密。可以在ES配置中启用TLS/SSL加密：

network.host: 0.0.0.0
http.port: 9200
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.keystore.path: /path/to/keystore.p12
xpack.security.transport.ssl.truststore.path: /path/to/truststore.p12

常见问题与最佳实践

1. 常见问题及解决方案
  • 集群节点丢失：可以使用zen-disco来自动发现节点并进行恢复。
  • 数据丢失：定期进行快照备份，使用Snapshot API进行数据恢复：
PUT /_snapshot/my_backup/snapshot_1
{
  "indices": "users,logs",
  "ignore_unavailable": true,
  "include_global_state": false
}
2. 最佳实践
  • 合理设置索引与映射：例如，设置keyword类型来提高精确查询性能：
PUT /my_index/_mapping
{
  "properties": {
    "name": {
      "type": "keyword"  // 使用keyword类型来提高精确匹配性能
    }
  }
}
总结：

Elasticsearch（ES）作为一个分布式搜索引擎，凭借其强大的索引机制、实时分析能力和分布式特性，在处理大规模数据查询时，比传统关系型数据库MySQL更具优势。它适用于全文搜索、日志分析、实时数据查询等多种场景。通过Spring Boot的集成，可以非常方便地将ES引入到应用中，极大地提升系统的数据检索与分析能力。


http://www.kler.cn/a/508172.html

相关文章：

  • 【论文阅读笔记】基于YOLO和ResNet深度卷积神经网络的结直肠息肉检测
  • 浅谈云计算21 | Docker容器技术
  • @Scope(“prototype“)
  • 无人机技术架构剖析！
  • doris: Flink导入数据
  • 使用 ChatGPT 生成和改进你的论文
  • 前缀和 （一维 二维）
  • 彻底讲清楚 单体架构、集群架构、分布式架构及扩展架构
  • C++ 的 CTAD 与推断指示（Deduction Guides）
  • 《Opencv》图像金字塔与采样
  • 【开源免费】基于SpringBoot+Vue.JS欢迪迈手机商城（JAVA毕业设计）
  • Elasticsearch：Jira 连接器教程第二部分 - 6 个优化技巧
  • Unsloth 大模型微调工具与 llama.cpp 量化推理库简介及其预训练操作方法
  • 20250118 Flink中的延迟执行机制和数据处理的逻辑拓扑结构（向圖）
  • 基于 Spring Boot、Vue 实现的调问开源问卷系统
  • Linux操作命令之云计算基础命令
  • 安卓端使用线程下载文件卡滞
  • 基于javaweb的SpringBoot景区旅游管理系统设计和实现(源码+文档+部署讲解）
  • Biotin sulfo-N-hydroxysuccinimide ester ；生物素磺基-N-羟基琥珀酰亚胺酯；生物素衍生物；190598-55-1
  • [Azure] 如何解决个人账号无法直接登录的问题：利用曲线救国方法访问Speech Studio
  • 利用爬虫获取某学习软件的考试题库（带源码）
  • LLM（大语言模型）支撑下的传统工作流转型发展为AI工作流
  • linux的用户管理和权限设置相关命令
  • 工业视觉5-工业视觉选型
  • C++（二十一）
  • DNS服务学习