当前位置: 首页 > article >正文

【学习记录】大数据课程-学习十一周总结

Hive的安装

Hive的安装方式

hive的安装一共有三种方式:内嵌模式、本地模式、远程模式

元数据服务(metastore)作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

内嵌模式
内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。
解压hive安装包 bin/hive 启动即可使用
缺点:不同路径启动hive,每一个hive拥有一套自己的元数据,无法共享。
在这里插入图片描述
本地模式
本地模式采用外部数据库来存储元数据,目前支持的数据库有:MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。
本地模式不需要单独起metastore服务,用的是跟hive在同一个进程里的metastore服务。也就是说当你启动一个hive 服务,里面默认会帮我们启动一个metastore服务。
hive根据hive.metastore.uris 参数值来判断,如果为空,则为本地模式。
缺点是:每启动一次hive服务,都内置启动了一个metastore。
在这里插入图片描述
远程模式
远程模式下,需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。远程模式的metastore服务和hive运行在不同的进程里。
在生产环境中,建议用远程模式来配置Hive Metastore。
在这种情况下,其他依赖hive的软件都可以通过Metastore访问hive。


http://www.kler.cn/a/6550.html

相关文章:

  • node express服务器配置orm框架sequilize
  • ARP..
  • uniapp开发app,cover-view不能隐藏,使用v-if,v-show都不行的解决办法
  • 厦门凯酷全科技有限公司短视频带货可靠吗?
  • 【Maven】dependencyManagement依赖版本管理
  • List深拷贝后,数据还是被串改
  • 企业数据平台建设的基石:构建统一的数据存算能力
  • 蓝桥杯赛前冲刺-枚举暴力和排序专题1(包含历年蓝桥杯真题和AC代码)
  • 约会Appointment
  • 考研数二第十讲 求导平面曲线的切线和法线以及曲率圆与曲率半径和弧微分
  • Java Web 实战 15 - 计算机网络之网络编程套接字
  • 【算法题】2483. 商店的最少代价
  • 通过python理解光的偏振
  • jsp+javaEE高校毕业生去向跟踪管理系统gzyy84程序mysql
  • 分类预测 | MATLAB实现CNN-BiLSTM-Attention多输入分类预测
  • 回归预测 | MATLAB实现GA-BiLSTM遗传算法优化双向长短期记忆网络的数据多输入单输出回归预测
  • 技术动态 | 基于GPT-4的知识图谱构建能力评测
  • 【C++】开散列哈希表封装实现unordered_map和unordered_set
  • HTML - Javascript - JS可变参数函数
  • Stable Diffusion 安装教程
  • opencv_c++学习(二)
  • 使用JSR303对数据进行校验【JAVA】
  • Linux reset子系统和驱动实例
  • GEE:栅格转矢量
  • Jackson之ObjectMapper常用用法
  • 【异常解决】java: 无法访问org.springframework.boot.SpringApplication的解决方案