当前位置：首页 > article >正文

ElasticSearch 在不同集群之间进行数据迁移

article 2025/1/21 7:18:12

ElasticSearch 在不同集群之间进行数据迁移

在两台集群分别安装s3插件，以允许数据上传至s3

elasticsearch-plugin install repository-s3

在es配置文件`jvm.options`中添加如下内容：

-Des.allow_insecure_settings=true

重启es

备份数据

此方法可以用于es数据的备份

在源集群上创建快照存储库my_minio_repo

# my_minio_repo 为快照存储库名称
curl -X PUT "http://192.168.1.101:9200/_snapshot/my_minio_repo" -H 'Content-Type: application/json' -d '{
  "type": "s3",
  "settings": {  # minio的配置
    "bucket": "es-bak",
    "base_path": "snapshots", 
    "endpoint": "http://xxxx:9000",
    "access_key": "user",
    "secret_key": "password",
    "path_style": true
  }
}'

创建快照

# ss_20241024 为快照名称
# my_minio_repo 为存储库名称
# wait_for_completion=false为不需要等待快照完全生成，任务创建完成即返回
curl -X PUT "http://192.168.4.223:29203/_snapshot/my_minio_repo/ss_20241024?wait_for_completion=false"

恢复数据

在目标集群上创建快照存储库

# my_minio_repo 为快照存储库名称
curl -X PUT "http://192.168.1.102:9200/_snapshot/my_minio_repo" -H 'Content-Type: application/json' -d '{
  "type": "s3",
  "settings": {  # minio的配置
    "bucket": "es-bak",
    "base_path": "snapshots", 
    "endpoint": "http://xxxx:9000",
    "access_key": "user",
    "secret_key": "password",
    "path_style": true
  }
}'

从快照恢复数据

# ss_20241024 为快照名称
# my_minio_repo 为存储库名称
# indices 为要恢复快照的索引，多个用逗号连接
# rename_pattern 为要匹配的索引名正则,可选
# rename_replacement  给索引名加前缀 prefix_  可选
curl -X POST "http://192.168.1.2:9200/_snapshot/my_minio_repo/ss_20241024/_restore" -H 'Content-Type: application/json' -d '{
  "indices": "index1,index2,index3",
  "rename_pattern": "(index1|index2|index3)",
  "rename_replacement": "prefix_$1"
}'