【学习记录】大数据课程-学习十一周总结

Hive的安装

Hive的安装方式

hive的安装一共有三种方式:内嵌模式、本地模式、远程模式

元数据服务(metastore)作用是:客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。

内嵌模式
内嵌模式使用的是内嵌的Derby数据库来存储元数据,也不需要额外起Metastore服务。数据库和Metastore服务都嵌入在主Hive Server进程中。这个是默认的,配置简单,但是一次只能一个客户端连接,适用于用来实验,不适用于生产环境。
解压hive安装包 bin/hive 启动即可使用
缺点:不同路径启动hive,每一个hive拥有一套自己的元数据,无法共享。
在这里插入图片描述
本地模式
本地模式采用外部数据库来存储元数据,目前支持的数据库有:MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。
本地模式不需要单独起metastore服务,用的是跟hive在同一个进程里的metastore服务。也就是说当你启动一个hive 服务,里面默认会帮我们启动一个metastore服务。
hive根据hive.metastore.uris 参数值来判断,如果为空,则为本地模式。
缺点是:每启动一次hive服务,都内置启动了一个metastore。
在这里插入图片描述
远程模式
远程模式下,需要单独起metastore服务,然后每个客户端都在配置文件里配置连接到该metastore服务。远程模式的metastore服务和hive运行在不同的进程里。
在生产环境中,建议用远程模式来配置Hive Metastore。
在这种情况下,其他依赖hive的软件都可以通过Metastore访问hive。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.kler.cn/a/6550.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

企业数据平台建设的基石:构建统一的数据存算能力

随着企业数字化程度的逐步提高,数字化业务对数据管理的需求也持续深化。根据企业本身所处的数字化程度不同,我们将企业的数据平台的建设总结为五个阶段,本篇我们对统一的数据存储与算力做介绍。 — 整体介绍 — 企业发展的战略目标就是为了更…

约会Appointment

前言 加油 原文 约会常用会话 ❶ The meeting is scheduled for Friday afternoon. 会议安排在星期五下午。 ❷ He got a date with Amanda tomorrow night. 明天晚上他跟阿曼达有个约会。 ❸ They’re going to honeymoon in Europe. 他们打算在欧洲度蜜月。 ❹ Will yo…

考研数二第十讲 求导平面曲线的切线和法线以及曲率圆与曲率半径和弧微分

关于函数的导数几何意义,一元函数和二元函数存在一些不同,二元或多元函数求导叫做对应的偏导数,函数求导以及平面曲线切线,法线求解或者根据已知切线求函数会与其他题型结合考察,单独出题概率比较小。曲率和曲率半径求…

Java Web 实战 15 - 计算机网络之网络编程套接字

文章目录一 . 网络编程中的基本概念1.1 网络编程1.2 客户端(client) / 服务器(server)1.3 请求(request) / 响应(response)1.4 客户端和服务器之间的交互数据1.4.1 一问一答1.4.2 多问一答1.4.3 一问多答1.4.4 多问多答二 . socket 套接字2.1 UDP 的 Socket API2.1.1 引子2.1.2…

通过python理解光的偏振

文章目录基本原理椭圆偏振光基本原理 光是横波,可以写成E⃗A⃗cos(ωt−k⃗r⃗)\vec E \vec{A}cos(\omega t-\vec k\vec r)EAcos(ωt−kr),振动方向与传播方向垂直,而在三维空间中,与光线垂直的乃是法平面。换言之,光…

jsp+javaEE高校毕业生去向跟踪管理系统gzyy84程序mysql

1)登录模块: 管理员的登录:管理员登录系统对本系统其他管理模块进行管理, 以及档案端应用管理员登录后向服务器传输数据。 学生的登陆:学生登陆系统对本系统其他管理模块进行管理。 2&#xf…

分类预测 | MATLAB实现CNN-BiLSTM-Attention多输入分类预测

分类预测 | MATLAB实现CNN-BiLSTM-Attention多输入分类预测 目录分类预测 | MATLAB实现CNN-BiLSTM-Attention多输入分类预测分类效果基本介绍模型描述程序设计参考资料分类效果 基本介绍 MATLAB实现CNN-BiLSTM-Attention多输入分类预测,CNN-BiLSTM结合注意力机制多输…

回归预测 | MATLAB实现GA-BiLSTM遗传算法优化双向长短期记忆网络的数据多输入单输出回归预测

回归预测 | MATLAB实现GA-BiLSTM遗传算法优化双向长短期记忆网络的数据多输入单输出回归预测 目录回归预测 | MATLAB实现GA-BiLSTM遗传算法优化双向长短期记忆网络的数据多输入单输出回归预测效果一览基本介绍程序设计参考资料效果一览 基本介绍 MATLAB实现GA-BiLSTM遗传算法优…

技术动态 | 基于GPT-4的知识图谱构建能力评测

一、摘要知识图谱是一种用图模型来描述知识和建模世界万物之间关联关系的大规模语义网络,是大数据时代知识表示的重要方式之一。而大型语言模型,如OpenAI发布的GPT-4 ,通过在大量文本等数据上进行预训练,展示出了极其强大的通识知…

【C++】开散列哈希表封装实现unordered_map和unordered_set

在未达成目的之前,一切具有诱惑力的事物都显得那么不堪一击 文章目录一、unordered系列关联式容器二、哈希函数和哈希冲突三、闭散列(你抢我的位置,我抢他的位置)1.哈希表结构2.Insert()3.Erase()(标记的伪删除法&…

Stable Diffusion 安装教程

引用自 摸鱼wiki 1. 安装准备 Python 3.10.6Gitstable-diffusion-webui 2. 安装 Python 到 Python 官网上下载 3.10.6版本,然后安装时勾选 “Add Python to PATH” 3. 安装 Git 到 Git官网 上下载一个命令行的git,按安装程序默认安装即可 4. 安装 …

Linux reset子系统和驱动实例

文章目录Linux reset子系统reset复位API说明devm_reset_control_getreset_control_deassertreset_control_assertreset_control_resetreset API使用示例reset驱动实例设备树驱动编写上篇讲了Linux clock驱动,今天说说Linux的reset驱动。 时钟和复位是两个不同的驱动…

GEE:栅格转矢量

本文记录了在Google Earth Engine(GEE)平台上将栅格数据转换成矢量数据的方法和代码,并以京津冀地区的城市夜光遥感数据为例。 主要用到了image.reduceToVectors()函数。 文章目录 一、方法介绍二、代码案例一、方法介绍 image.reduceToVectors() 是 Google Earth Engine …

【异常解决】java: 无法访问org.springframework.boot.SpringApplication的解决方案

本文目录 一、背景描述 二、报错原因 三、解决方案 一、背景描述 Spring官网:Spring | Home 通过Spring官网初始化一个新的SpringBoot项目,如下图所示。 关键信息:maven项目,Java语言,SpringBoot版本号&#xff0…

php+mysql仓储进销存仓库管理系统

仓库的管理的操作自动化和信息的电子化,全面提高了仓库的管理水平。随着我国改革开放的不断深入,经济飞速的发展,企业要想生存、发展,要想在激烈的市场竞争中立于不败之地,没有现代化的管理是万万不行的,仓…

【C++】多态(二)

多态的实现原理多态实现原理对象模型(带有虚函数的类对象的模型)多态的原理多态的分类多继承体系中虚函数存储不同的编译器对于多态底层实现原理细节上可能会有差异(当前使用 vs2017 32位 编译) 多态实现原理 对象模型&#xff…

射频接收机概述

接收机架构 射频接收机架构是指电子设备中用于接收无线电信号的部分。它通常由前置放大器、中频放大器、混频器、局部振荡器和带通滤波器等组成。以下是一个基本的射频接收机架构: 前置放大器:前置放大器的作用是放大接收天线接收到的微弱无线电信号&am…

PyTorch模型保存方法对比及其实现原理详解

❤️觉得内容不错的话,欢迎点赞收藏加关注😊😊😊,后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论(包括但不限于NLP算法相关,linux学习相关,读研读博…

大数据领域的发展及其对现实世界的价值

大数据已经成为全球各行业领域不可或缺的一部分,并且其应用不断涌现。尽管很多人最初对“大数据”这一术语表示怀疑和不信任,但大数据技术已经确立了稳定的发展方向。根据调研机构的预测,到2027年,全球大数据市场规模将达到1090亿…

BloombergGPT(LLM大模型用于金融科技)

BloombergGPT: A Large Language Model for Finance 先上论文地址, paper:https://arxiv.org/abs/2303.17564 BloombergGPT 是彭博社从头自研的大模型,关键词有 基于BLOOM模型,70层隐藏层维度7680,多头40约50B参数&a…
最新文章