当前位置: 首页 > article >正文

【赵渝强老师】大数据主从架构的单点故障

  大数据体系架构中的核心组件都是主从架构,即:存在一个主节点和多个从节点,从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。
在这里插入图片描述
  视频讲解如下:

大数据主从架构的单点故障

【赵渝强老师】大数据主从架构的单点故障

  从上图可以看出大数据的核心组件都是一种主从架构,而只要是主从架构就存在单点故障的问题。因为整个集群中只存在一个主节点,如果这个主节点出现的故障或者发生了宕机,就会造成整个集群无法正常的工作。因此在实际的生产环境中就需要实现大数据HA的功能,即:High Availablity(高可用的架构)。HA的思想其实非常简单:既然整个集群中只有一个主节点存在单点故障的问题,那么只需要搭建多个主节点就可以解决这样的问题了,这就是HA的核心思想。
  
  要解决大数据主从架构的单点故障问题,需要使用到ZooKeeper。ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是大数据体系中的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。下图展示了基于ZooKeeper的HDFS HA架构。
在这里插入图片描述


http://www.kler.cn/a/292115.html

相关文章:

  • 小版本大不同 | Navicat 17 新增 TiDB 功能
  • css初始化(二十三课)
  • 【数据库取证】快速从服务器镜像文件中获取后台隐藏数据
  • Fish Agent V0.13B:Fish Audio的语音处理新突破,AI语音助手的未来已来!
  • 11.08-10.14谷粒商城
  • [Admin] Dashboard Filter for Mix Report Types
  • HTTPS SEO优势
  • EmguCV学习笔记 VB.Net 第10章 人脸识别
  • elementplus组件库el-tree组件设置默认选中项setCheckKeys不生效
  • Mysql5.6.51修改密码
  • Ubuntu: 配置OpenCV环境
  • ITK-高斯滤波
  • 数据库中的逐行数据处理
  • Python知识点:如何使用Python实现自动驾驶模拟
  • TCP/IP网络编程:Linux实现的web服务器
  • NowCoder HJ50 四则运算
  • EasyExcel实现复杂Excel的导入
  • 如何在Windows和Mac上免费提取RAR文件?这里有方法
  • 电路分析 ---- 加法器
  • 一小时原生画小程序商品展示单页面【代码实现】
  • 全球性“微软蓝屏”事件的深思:网络安全与系统稳定性的挑战与应对
  • Python-FLASK上传文件
  • 排序题目:插入区间
  • 趋势!遥感再发Nature正刊!
  • 一个webpack的plugin 的简单例子
  • python黄金分割数