当前位置: 首页 > article >正文

milvus多个Querynode,资源消耗都打在一个节点上

milvus 查询时的原理
在这里插入图片描述
当读取数据时,MsgStream对象在以下场景中创建:

在 Milvus 中,数据必须先加载后才能读取。当代理收到数据加载请求时,会将请求发送给查询协调器,查询协调器决定如何将分片分配到不同的查询节点。分配信息(即 vchannels 的名称以及 vchannels 与其对应的 pchannels 之间的映射)通过方法调用或 RPC(远程过程调用)发送给查询节点。随后,查询节点会创建相应的 MsgStream 对象来消费数据。

问题的解决:
https://github.com/milvus-io/milvus/discussions/32698

具体为什么会产生这个问题,可以看我上一篇文章
https://blog.csdn.net/IT_Octopus/article/details/141605964?spm=1001.2014.3001.5501

考虑到大家网络可能不好截图出来:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述其中大致的内容都看懂了,比较困难的是

大致上是每个collection有一根数据管道,其中有一个querynode负责管理这根管道,我们称之为shard-leader,它从管道中接收来自pulsar的数据,数据积累在内存里,称为growing segment,当数据达到一定量,比如一百兆,就把这块数据落盘变成sealed segment,其他的querynode等加载sealed segment。
你插入的数据太少,大部分都在growing segment里,所以数据都在shard-leader里。如果你插入10GB的数据,你会发现其他的querynode也开始有数据。
看起来,你们应该有比较多的partition,每个partition都会有growing数据,而growing数据都会在shard delegator上。默认情况下只有一个delegator,因此大部分数据都在一台机器上。
2. 调小segment flush的阈值,使得数据更快flush,growing的数据更少。

这几句话,我个人理解一下哈:
动态的数据:
1.数据量太小,且数据是动态新增的,且没有60s间隔,没有达到segement分区的限制,没有从growingSegement态变成sealed态,所以都落在其中的一个segement。所以没有触发querynode分配。

       数据插入和 Growing Segment: 当新数据被插入 Milvus 时,它们首先被写入 Growing Segment。Growing Segment 是一个可以继续接收新数据的活跃段。
       
       Flush 操作和 Sealed Segment: Flush 操作会将 Growing Segment 中的数据持久化到存储中,并将 Growing Segment 转变为 Sealed Segment。Sealed Segment 是一个已关闭的段,不能再接收新的数据插入。3. Flush 阈值: Milvus 有一个阈值来决定何时自动执行 Flush 操作(60s)。这个阈值通常基于数据量或时间间隔

静态数据 or 封闭数据
“以分片为单位做balance” 这句话是我理解这个问题的核心点,
意思只有到达某个阈值的时候才会开启分配到其他queynode节点
在这里插入图片描述

通过上述搜索原理 和 官方回答的讨论可以得到这个结论
1.数据量不够,没有达到querynode 一个资源的限额。
在这里插入图片描述2.在数据量小的情况下,少querynode ,每个querynode 多资源
3.调整flush的阈值,我觉得在小数据量的情况下操作有点杀鸡用牛刀,完全可以使用命令塞入数据的指定多个副本,做负载…个人观点仅供参考哈


http://www.kler.cn/a/286705.html

相关文章:

  • c语言(转义字符)
  • Dify:低代码 AI 应用开发平台详解与实战指南
  • 【ARTS】【LeetCode-704】二分查找算法
  • OpenEuler学习笔记(九):安装 OpenEuler后配置和优化
  • 在 CentOS 7.9 上编译 Nginx 并启用 SSL 模块时遇到缺少 OpenSSL 源码的编译问题及解决方案
  • 音频入门(二):音频数据增强
  • C语言6大常用标准库 -- 1.<stdio.h>
  • Day-01—QT项目的新建
  • 【大模型LLM第十一篇】微调自动化数据选择方式之MoDS
  • 不良信息公示
  • How can I change from OpenAI to ChatOpenAI in langchain and Flask?
  • 介绍一下最近很火的一款游戏黑神话悟空,以及国产游戏面临的挑战
  • AWS api数据信息获取(boto3)
  • 【数据结构】优先级队列 — 堆
  • kafka使用
  • 基于asp.net软件缺陷跟踪系统设计与实现
  • Java:数字验证
  • Web入门-06.HTTP协议-协议解析
  • Axure设计效率提升:实战策略与技巧
  • 五种常见的人工智能错误以及如何避免它们?
  • Websocket测试工具,在线调试 - 在线工具
  • 数学建模强化宝典(6)0-1规划
  • Python操作PDF文件
  • 惠中科技 RDS 自清洁膜层:光伏领域的卓越创新
  • 【QNX+Android虚拟化方案】109 - Android 侧添加支持 busybox telnetd 服务
  • H264码流结构讲解