【elasticsearch】reindex 断点续传
在进行大规模 reindex 时，由于数据量庞大或者网络/硬件故障，可能会发生中断。为了确保数据的完整性并支持中断后的续传，Elasticsearch 提供了一些方法来实现 断点续传。尽管 reindex 操作本身没有直接的“断点续传”选项，但可以通过一些技巧和配置来模拟这一过程。
POST _reindex
{
"source": {
"remote": {
"host": "http://远程ip:9200"
},
"index": "source_index"
},
"dest": {
"index": "destination_index",
"version_type": "external" # 只插入新文档，避免覆盖已存在文档
},
"conflicts": "proceed" # 冲突跳过
}
其他方法：
reindex 操作本质上是对一个索引的内容进行批量处理。为了支持断点续传，可以将 scroll 和 bulk 操作结合使用，手动管理数据批次。这样，如果 reindex 中途中断，可以从最后处理的文档继续。
虽然 Elasticsearch 的 reindex 命令本身没有直接的断点续传功能，但结合以下方法可以有效实现：
- 使用
scroll和bulk配合：通过手动分页和批量插入模拟断点续传。 - 使用
slices分片功能：将任务拆分成多个切片，支持并行和容错。 - 保存和恢复进度：定期保存当前进度（如
_scroll_id或最后处理的文档ID），从中断点继续操作。 - 外部任务调度：结合任务调度系统管理任务进度，自动恢复中断点。
这些方法可以帮助你在进行大规模数据迁移时，减少操作中断造成的影响。