当前位置: 首页 > article >正文

Xline v0.7.0: 一个用于元数据管理的分布式KV存储

Xline是什么?我们为什么要做Xline?

Xline是一个基于Curp协议的,用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议,需要两次RTT才能完成一次请求。当部署在单个数据中心时,节点之间的延迟较低,因此不会对性能产生大的影响。

但是,当跨数据中心部署时,节点之间的延迟可能是几十或几百毫秒,此时 Raft 协议将成为性能瓶颈。Curp 协议就是为了解决这个问题而设计的。它可以在命令不冲突的情况下减少一个RTT,从而提高性能。因此,Xline旨在实现高性能的数据访问和跨数据中心场景下的强一致性。

V0.7.0版本有什么新功能?

v0.7.0新版本修复问题以及重构如下:

⭐ 新功能

[Feature]CURP WAL (Write-Ahead-Log) 实现:我们设计了一个 Write-Ahead-Log 来保存 curp 的日志条目。

[Feature]重复数据删除:使用RIFL论文中的exactly-once语义实现命令重复数据删除。

[Feature]:快照恢复 #630

[Feature]:维护服务器接口#543

[Feature]:支持使用 tls 运行 #328

️ 重构

[Refactor]:为自动更新lock lease添加会话结构#684

[Refactor]:启动流程#629

[Refactor]:重构speculative pool的GC #439

[Refactor]:新的命令执行逻辑:我们删除了cmd workers和相关的命令执行逻辑。现在,Xline 将使用串行执行(通过批处理)来防止锁争用。

[Refactor]:Garbage Collection:我们在dedup实现的基础上重构了garbage collection logic。

[Refactor]:客户端Proposal优化:我们重构了 curp 客户端,以使用 gRPC 流向集群发送提议。这降低了 gRPC 服务器的负载并提高了整体性能。

[Refactor]:冲突检测:我们删除了冲突检查的 mpmc。现在Xline将使用conflict pools(speculative pool和uncommitted pool)来检测命令冲突。

[Refactor]:Read Index:我们实现了 Raft 论文中的 Read Index 机制,用于只读命令。替换了之前的读取状态实现。

[Refactor]:xline-client 重构:我们为 xline-client crate 切换到更直观的用户界面。

[Refactor]:各种性能优化

错误修复

[Bug]:实现 ReadIndex #870

[etcdapi] [Bug]:重复revision #848

[Bug]:测试用例 curp::it server::shutdown_rpc_should_shutdown_the_cluster 失败 #774

[Bug]:Xline 在使用watch功能时会丢失事件#677

[Bug]:xlinectl 不会续订锁定密钥的lease #664

[Bug]:无法将新成员node4添加到三节点xline集群#661

[Refactor]:revision生成期间的只读命令#502

[Bug]:在读取状态期间执行时读取不同的值#501

[Bug]:sync txn 请求未按照子请求的顺序执行 #498

[Bug]:读取状态#497

[Bug]:revision生成#491、#848

[Bug]:单个 txn 中的请求不按顺序执行 #471

[Bug]:raw_curp中的batch_index最终会溢出#368

[Bug]:修复 GC 可能会破坏 CURP 持久性的问题 #159

✍️已知问题

在基准测试期间,如果集群处于高负载下,集群有时可能会由于重复数据删除机制而无法取得进展。

重大变化

etcd 兼容 API 现在将使用 2-RTT 操作来防止revision生成问题。

❤️ 贡献者

我们要感谢所有参与此版本发布的贡献者!

@themanforfree

@iGxnon

@Phoenix500526

@bsbds

相关链接

· Curp相关论文:

https://www.usenix.org/system/files/nsdi19-park.pdf

· Curp相关文章

https://medium.com/@datenlord/curp-revisit-the-consensus-protocol-384464be1600

往期推荐

1. Xline 0.7重构性能分析总述

2. Xline中区间树实现小结

3. Xline v0.6.1: 一个用于元数据管理的分布式KV存储

Xline于2023年6月加入CNCF 沙箱计划,是一个用于元数据管理的分布式KV存储。Xline项目以Rust语言写就。感谢每一位参与的社区伙伴对Xline的帮助和支持,也欢迎更多使用者和开发者参与体验和使用Xline。

GitHub链接:

https://github.com/xline-kv/Xline

Xline官网:www.xline.cloud

Xline Discord: 

https://discord.gg/XyFXGpSfvb


http://www.kler.cn/a/282288.html

相关文章:

  • PCB+SMT线上报价系统+PCB生产ERP系统自动化拼板模块升级
  • Flutter:Dio下载文件到本地
  • 每日一博 - Java的Shallow Copy和Deep Copy
  • Vue中的导航守卫有哪三种?分别有什么作用
  • 如何使用Django写个接口,然后postman中调用
  • Vue学习记录03
  • Qt与Python
  • SpringMVC 笔记篇
  • Unity 贴图拷贝与性能对比
  • 【SpringCloud Alibaba】(八)学习 Sentinel 核心技术与配置规则(下)
  • Spring的单例模式
  • C# list根据动态字段排序
  • 【目标检测】YOLOV2
  • 信息安全(密码学)---数字证书、kpi体系结构、密钥管理、安全协议、密码学安全应用
  • 基于my Batis优化图书管理系统(二)
  • MySQL笔记(大斌)
  • linux-centos7 服务器上redis服务已经启动,但是宿主机无法访问,报错:connect timeout
  • MT5016A-ASEMI无人机专用整流桥MT5016A
  • 鸿蒙上架流程
  • 【WPF】WPF学习路线
  • Python-MNE-源空间和正模型03:自动源配准的方法
  • 鸿蒙开发入门day15-焦点事件
  • 【亲测有效】icmp,tcpping工具源码
  • 关于vue2运行时filemanager-webpack-plugin报错isFile is undefind
  • mysql数据库数据的批量插入
  • js传递long类型存在精度丢失