当前位置: 首页 > article >正文

Presto:基于内存的OLAP查询引擎

Presto查询引擎

    • 1、Presto概述
      • 1.1、Presto背景
      • 1.2、什么是Presto
      • 1.3、Presto的特性
    • 2、Presto架构
      • 2.1、Presto的两类服务器
      • 2.2、Presto基本概念
      • 2.3、Presto数据模型
    • 3、Presto查询过程
      • 3.1、Presto执行原理
      • 3.2、Presto与Hive
      • 3.3、Presto与Impala
      • 3.4、PrestoDB与PrestoSQL
    • 4、Presto查询优化


1、Presto概述

1.1、Presto背景


Facebook的数据仓库存储在少量大型Hadoop/HDFS集群。Hive是Facebook在十几年前专为Hadoop打造的一款数据仓库工具。在以前,Facebook的科学家和分析师一直依靠Hive来做数据分析。Hive使用MapReduce作底层计算框架,是专为批处理设计的

随着数据源的多样化、数据仓库的不断扩展以及数据湖的发展,使用Hive及时获得有用的见解可能变得困难。例如使用Hive进行一个简单的数据查询可能需要花费几分钟甚至几小时,这显然不能满足企业级交互式查询的需求

于是Facebook调研了其他比Hive更快的工具,但它们要么在功能有所限制,要么就太简单,以至于无法操作Facebook庞大的数据仓库

在Facebook试用了一些外部项目但都不合适后,2012年秋季,他们决定自己开发,Presto应运而生

2013年,Facebook正式宣布开源Presto。2015年,Netflix展示了Presto实际上比Hive快10倍,在某些情况下甚至更快

Hive的问题主要在于它将MapReduce查询的中间结果存储在磁盘上,这会导致在磁盘间产生大量的I/O开销。Presto凭借其新的架构和内存引擎,将显着降低其延迟和查询速度,从而允许更多的交互式查询

Presto的用例范围从交互式即席查询到长时间运行的批量ETL管道,使其能够灵活地适应各种数据驱动的用例和应用程序

1.2、什么是Presto


Presto是由FaceBook开源的一个MPP SQL引擎,主要用来解决Facebook海量Hadoop数据仓库的高延迟交互分析问题

Facebook版本的Presto更多的是以解决企业内部需求功能为主,也叫PrestoDB,版本号以0.xxx来划分,例如目前的最新版本0.284版本

后来,Presto其中的几个人出来创建了更通用的Presto分支,取名PrestoSQL,版本号以xxx来划分,例如315版本,这个开源版本也是更为被大家通用的版本

为了更好的与Facebook的Presto进行区分,PrestoSQL于2020年12月27日改名为Trino,除了名字改变了其他都没变。不管是PrestoDB还是PrestoSQL,它们“本是同根生”,因此它们的大部分的机制原理是一样的

在这里插入图片描述

PrestoDB官网:https://prestosql.io/ 或 https://prestodb.io/

PrestoDB官方文档1:https://prestodb.io/docs/0.284/overview.html

PrestoDB官方文档2:https://dzone


http://www.kler.cn/a/156101.html

相关文章:

  • 使用API有效率地管理Dynadot域名,编辑账户中whois联系人信息
  • elementui el-table中给表头 el-table-column 加一个鼠标移入提示说明
  • 【设计模式】行为型模式(二):策略模式、命令模式
  • 应用于新能源汽车NCV4275CDT50RKG车规级LDO线性电压调节器芯片
  • 【数据结构】交换排序——冒泡排序 和 快速排序
  • GxtWaitCursor:Qt下基于RAII的鼠标等待光标类
  • C/C++ 整数二分以及浮点数二分
  • 项目实战一-性能测试筑基
  • 【PTA-C语言】编程练习3 - 循环结构Ⅰ
  • 蓝桥杯物联网竞赛_STM32L071_8_ADC扩展模块
  • 什么是Anaconda
  • jsp高校教师调课管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
  • GeoServer漏洞(CVE-2023-25157)
  • 491. 递增子序列
  • Golang语言基础之切片
  • 一些后端测试的东西
  • day5 两数之和为x
  • SSM SpringBoot vue社团事务管理系统
  • mysql中的锁及其作用
  • 【迅搜05】索引配置(二)字段定义与设计
  • Vue经典面试题源码级分析【一】
  • python之UDP网络应用程序开发
  • 传感器:探索Android中的传感器功能与使用
  • Linux 进程状态
  • Linux socket编程(9):IO复用之poll和epoll详解
  • 【算法】单调队列 滑动窗口最大值