当前位置: 首页 > article >正文

ES 根据条件删除文档

随着业务量的增多,es中数据越来越多,但有些数据其实后期并无业务用途,可直接做物理删除,程序里做兼容,但历史每个月的索引里的数据需要处理这部分冗余数据。

es提供_delete_by_query 根据查询条件进行删除的操作,但如果待删除数据量比较大,很可能导致客户端超时,直接返回502; 可以增加wait_for_completion=false,立马返回一个任务id,根据任务id查询任务执行的进度。

(1)异步执行

POST /**order_202310/_delete_by_query?wait_for_completion=false

这里查询条件根据业务不同,组合不同的条件。(这里查不存在用户id,且类型是4,状态是7,8的订单)

{
  
  "query": {
    "bool": {
      "must_not": [
        {
          "exists": {
            "field": "userUniqueid"
          }
        }
      ], 
      
      "must": [
        
        {
          "term": {
            "upDefault1": {
              "value": "4"
            }
          }
        },{
          "terms": {
            "status": [
              "7",
              "8"
            ]
          }
        }
      ]
    }
  }
}

返回:

(2)根据id查询task执行情况

GET /_tasks/${taskId}

执行结果如下图所示:

(3)终止任务

POST /_tasks/${taskId}/_cancel
(4)实际执行时间

删除132w左右的数据,用了451830秒,约7.5分钟。


http://www.kler.cn/a/280944.html

相关文章:

  • 畅玩游戏:2024四大远程控制软件推荐!
  • php邮件系统怎么安装和集成到现有系统中?
  • Java零基础-如何解决分布式系统中的依赖冲突问题?
  • PHP教育培训企业小程序多端平台系统源码
  • Qt/QML学习-Drawer
  • 【快速选择算法】解决TopK问题中前K小的数字问题
  • 【已上线】C++ mysql连接池
  • 个人博客系统项目大全【6万字】
  • 网络缓存:加速网络应用的隐形引擎
  • 【numpy1】ipython模块、jupyter模块、Anaconda主要功能、notebook详细功能、数据分析三剑客、numpy实现BMI指数
  • cuda,torch,paddle向下兼容
  • fabricjs 添加图片并实时更新小车位置
  • 游戏开发设计模式之单例模式
  • 《javaEE篇》--线程池
  • [Algorithm][综合训练][消减整数][最长上升子序列(二)][春游]详细讲解
  • CCF CSP题解:因子化简(202312-2)
  • 宠物毛发会携带病菌源吗?宠物店空气净化器使体验分享
  • 【在Linux世界中追寻伟大的One Piece】传输层协议UDP
  • 微软将持续多年的 Mono 项目移交给 Wine
  • 力扣2132.用邮票贴满网格图