大数据复习知识点4
HDFS的HA机制:HA就是High Availability,也就是高可用性。在HDFS中,HA机制就像是有一个备胎随时准备上场。当主NameNode出现问题时,备胎就会立刻顶替它的位置,继续提供服务,确保整个系统不会中断。
HDFS的安全模式:安全模式就像是HDFS的一个保护罩,只让客户端读取数据,不允许删除或修改。这是为了确保在系统启动时,可以检查数据块的完整性,确保数据的安全。
SecondaryNameNode的作用:SecondaryNameNode就像是NameNode的小助手,帮助它定期合并和检查Edit Log,生成新的fsimage文件。这样,NameNode就能更快地恢复到最近的状态,减少了恢复时间。
DataNode的负载均衡器balancer的作用:当HDFS集群中的DataNode节点数据分布不均匀时,负载均衡器就像是一个交通警察,指挥数据在各个节点之间流动,确保数据均匀分布,提高整个集群的性能和利用率。
HDFS的垃圾回收机制:垃圾回收机制就像是HDFS的一个大垃圾桶,不小心删除的文件都会被扔进这个垃圾桶里。只要在设定的时间内,都可以从垃圾桶里找回这些文件,防止误操作导致数据丢失。
HDFS的删除流程:当客户端(Client)需要删除某个文件时,它会向NameNode发送删除请求。NameNode收到请求后,会记录要删除的文件信息到Edit Log中,形成一条删除日志。修改记录完成后,NameNode会通知Client文件删除操作已完成。但此时,真实的数据还存在于DataNode中,并未立即删除。在后台,HDFS会按照块+副本的顺序逐步删除数据。只有当Edit Log中的删除日志与FsImage中的信息合并后,数据才会从DataNode中彻底清除。