当前位置: 首页 > article >正文

presto/trino native 向量化 大数据计算引擎

Velox(Facebook Intel, ByteDance字节, and Ahana)

一个旨在优化查询引擎和数据处理系统的 C++ 向量化数据库加速库。使用C++来实现Native计算引擎,追求极致的性能

https://github.com/facebookincubator/velox

https://velox-lib.io/

Presto+Velox:

Prestissimo facebook(已开源)

trino  https://github.com/trinodb/trino/issues/14237

Spark+Velox:

Gluten  intel 和Kyligence (已开源)

Intel and Alibaba GitHub - oap-project/Gluten-Trino: Gluten: Plugin to Boost Trino's Performance

Home | Apache Gluten incubating

Photon   Databricks 

Spruce facebook(未开源)

PyTorch(TorchArrow)+Velox 

其他

向量数据库 Milvus

 OmniRuntime 华为

一种采用Native Code(C/C++)实现大数据SQL算子来提高查询性能的特性,通过列式存储和向量化执行技术,同时利用鲲鹏加速库,提升算子的执行效率,从而提升查询引擎的查询性能。

  

参考:

https://baijiahao.baidu.com/s?id=1743187016205637139&wfr=spider&for=pc  Velox 简介:开源统一执行引擎

https://zhuanlan.zhihu.com/p/543880633?utm_id=0   从Photon论文谈大数据计算引擎的Native化

https://zhuanlan.zhihu.com/p/618675658?utm_id=0   论文阅读笔记:Photon: A Fast Query Engine for Lakehouse Systems

https://www.iteblog.com/archives/10196.html 

https://github.com/prestodb/presto/pull/17575

https://www.51cto.com/article/713357.html


http://www.kler.cn/news/309680.html

相关文章:

  • MySQL之库和表操作
  • Rust 所有权 简介
  • 硬件基础知识
  • 计算机人工智能前沿进展-大语言模型方向-2024-09-13
  • [SIGGRAPH-24] CharacterGen
  • 使用c#制作一个小型桌面程序
  • 彩漩科技亮相第一届人工智能教育应用论坛,入选TOP30榜单,展示创新教育科技产品
  • Snowflake 如何通过 Apache Iceberg 和 Polaris 为大数据的未来提供动力
  • 【JavaEE初阶】多线程6(线程池\定时器)
  • C# 开发教程-入门基础
  • linux 双网卡服务器突然断电后网卡单通故障解决
  • C#通过注册表实现记住上次打开路径
  • 超级简约的B端页面,B端系统就该如此简化设计。
  • JS基础:数组for循环年龄案例
  • sql中的APPLY 和 LATERAL
  • Git 命令详解与项目迁移指南
  • 代码随想录算法训练营第13天|二叉树基础知识、递归遍历、迭代遍历、层序遍历、116. 填充每个节点的下一个右侧节点指针
  • 【计算机网络】TCP的可靠传输机制、标记位以及编程结构
  • vue3透传、注入
  • sqlite在Windows环境下安装、使用、node.js连接
  • URLEncode
  • 力扣之181.超过经理收入的员工
  • 基于C#+SQLServer 2005实现(CS界面)校园卡消费信息系统
  • Redis 篇- 实战项目中使用 Redis 实现经典功能(异步秒杀商品、点赞功能、共同关注的好友、投喂功能)
  • 笔试强训day15
  • Oracle SQL injection(SQL注入)
  • XML映射器-动态sql
  • 51单片机-直流电机(PWM:脉冲宽度调制)实验-会呼吸的灯直流电机调速
  • 通过WinCC在ARMxy边缘计算网关上实现智能制造
  • “杏鲍菇驱动机器人创新前行:康奈尔大学最新研究亮相Science子刊“