当前位置: 首页 > article >正文

Hive简介 | 体系结构

Hive简介

Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。
在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
FaceBook -->  Meta (元宇宙) --> 社交网站(校内网)
在大数据中,发展趋势:所有的技术全部都变为SQL。

1、Hive是一个数据仓库工具
2、可以将数据加载到表中,编写sql进行分析
3、底层依赖Hadoop,所以每一次都需要启动hadoop(hdfs以及yarn)
4、Hive的底层计算框架可以使用MR、也可以使用Spark、TEZ
5、Hive不是数据库,而是一个将MR包了一层壳儿。类似于一个中介。

Hive天然的就是当做数据仓库使用的。什么是数据仓库?

数据仓库:数据的仓库,一般只要能存数据的软件都可以当做数据仓库。

比如:开了一个超市,必须有一个仓库,这个仓库是不是可大可小。以前数据量特别小的时候,一般都使用Oracle当做数据仓库,现在企业中一般都使用大数据技术中 的Hive或者跟Hive类似的技术当做数据仓库。

普通的仓库:一般也是分类的,比如食品区、衣服区、电子产品区

数据仓库:也是需要搭建的(分层),方便使用者从仓库中快速的获取想要的数据。仓库搭建的好不好,就叫做建模。

体系结构

注意:

- 包含*的全表查询,比如select * from table 不会生成MapRedcue任务

- 包含*的limit查询,比如select * from table limit 3 不会生成MapRedcue任务


http://www.kler.cn/a/389617.html

相关文章:

  • vxe-table 3.10+ 进阶高级用法(一),根据业务需求自定义实现筛选功能
  • 超市里的货物架调整(算法解析)|豆包MarsCode AI刷题
  • 单例模式详解:如何优雅地实现线程安全的单例
  • 985研一学习日记 - 2024.11.12
  • scala的练习题
  • 【Python特征工程系列】利用SHAP进行特征重要性分析-XGB模型为例(案例+源码)
  • 青训3_1110_01 构造特定数组的逆序拼接
  • 性能飙升!时间序列+预训练强强联合,轻松迈入顶刊门槛!
  • conan2 c/c++包管理菜鸟入门
  • 使用MethodChannel与原生程序通信
  • PyQt5超详细教程终篇
  • 【Leecode】Leecode刷题之路第46天之全排列
  • InnoDB存储引擎对MVCC的实现
  • 项目管理平台盘点:2024推荐的9款优质工具
  • NLP自然语言处理:深入探索Self-Attention——自注意力机制详解
  • C语言 | Leetcode C语言题解之第551题学生出勤记录I
  • http防抖和ws防抖
  • OpenCV基础05_GUI和PyMsql
  • CVPR力推!预训练+医学图像这么玩,审稿人都得为你让条路!
  • 【SQL实验】高级查询(三)含附加数据库操作
  • SQL,力扣题目571, 给定数字的频率查询中位数
  • C++初阶学习第十弹——深入讲解vector的迭代器失效
  • MinGW-w64_10.0.0 + GCC12_x86_64-12.2.0-release-posix-seh-msvcrt-rt_v10-rev2.zip
  • 高边坡安全监测系统的工作原理和应用领域
  • 基于Spring Boot的美术馆管理系统的设计与实现,LW+源码+讲解
  • 公司一般如何监控员工电脑?公司监控员工电脑的4种常见方式,2024最新安利