当前位置: 首页 > article >正文

大数据复习知识点4

HDFS的HA机制:HA就是High Availability,也就是高可用性。在HDFS中,HA机制就像是有一个备胎随时准备上场。当主NameNode出现问题时,备胎就会立刻顶替它的位置,继续提供服务,确保整个系统不会中断。

HDFS的安全模式:安全模式就像是HDFS的一个保护罩,只让客户端读取数据,不允许删除或修改。这是为了确保在系统启动时,可以检查数据块的完整性,确保数据的安全。

SecondaryNameNode的作用:SecondaryNameNode就像是NameNode的小助手,帮助它定期合并和检查Edit Log,生成新的fsimage文件。这样,NameNode就能更快地恢复到最近的状态,减少了恢复时间。

DataNode的负载均衡器balancer的作用:当HDFS集群中的DataNode节点数据分布不均匀时,负载均衡器就像是一个交通警察,指挥数据在各个节点之间流动,确保数据均匀分布,提高整个集群的性能和利用率。

HDFS的垃圾回收机制:垃圾回收机制就像是HDFS的一个大垃圾桶,不小心删除的文件都会被扔进这个垃圾桶里。只要在设定的时间内,都可以从垃圾桶里找回这些文件,防止误操作导致数据丢失。

HDFS的删除流程:当客户端(Client)需要删除某个文件时,它会向NameNode发送删除请求。NameNode收到请求后,会记录要删除的文件信息到Edit Log中,形成一条删除日志。修改记录完成后,NameNode会通知Client文件删除操作已完成。但此时,真实的数据还存在于DataNode中,并未立即删除。在后台,HDFS会按照块+副本的顺序逐步删除数据。只有当Edit Log中的删除日志与FsImage中的信息合并后,数据才会从DataNode中彻底清除。
 

 


http://www.kler.cn/news/325930.html

相关文章:

  • 深度估计任务中的有监督和无监督训练
  • leetcode45:跳跃游戏||
  • 超详细超实用!!!AI编程之cursor编写设计模式开闭原则实例(四)
  • Javase学习day1-前置知识
  • 【Android 源码分析】Activity短暂的一生 -- 目录篇 (持续更新)
  • 记一次教学版内网渗透流程
  • Proteus如何添加数码管
  • [遇到问题] Word中插入公式横线“-”变成了长连字符
  • 匿名管道 Linux
  • 2024年软考网络工程师中级题库
  • 汽车总线之----J1939总线
  • elementUI表格中某个字段(state)使用计算属性进行转换为对应中文显示
  • 【Linux】进程周边之优先级、调度与切换
  • 9.29总结
  • linux 命令行删除 整个单词
  • 【QT Quick】基础语法:导入外部QML文件
  • Linux之Docker虚拟化部署
  • STM32移植RT-Thread实现DAC功能
  • Go版数据结构 -【4.1 二叉树】
  • 1688商品API接口:电商数据自动化的新引擎
  • JVM 几种经典的垃圾收集器
  • 解决跨域问题的方法
  • Linux 网络配置 (深入理解)
  • 初识C语言(四)
  • Llama 3.2——同时具备文本和图像处理功能的开源模型
  • 助力降本增效,ByteHouse打造新一代云原生数据仓库
  • 物联网(一)——CMC特刊推荐
  • 使用电子模拟器 Wokwi 运行 ESP32 示例(Arduino IDE、VSCode、ESP32C3)
  • 微信小程序如何使用自定义的字体
  • 产品管理- 互联网产品(5):运营知识与技能