当前位置: 首页 > article >正文

hadoop强制退出安全模式命令

在执行hdfs dfsadmin -safemode leave命令后,依旧显示Safe mode is ON,
通过访问http://node1:9870/logs链接,查询namenode日志,提示

The reported blocks 7 has reached the threshold 0.9990 of total blocks 7. 
The minimum number of live datanodes is not required. 
Name node detected blocks with generation stamps in future. 
This means that Name node metadata is inconsistent. This can happen if Name node metadata files have been manually replaced. Exiting safe mode will cause loss of 238 byte(s). 
Please restart name node with right metadata or use "hdfs dfsadmin -safemode forceExit" if you are certain that the NameNode was started with the correct FsImage and edit logs. 
If you encountered this during a rollback, it is safe to exit with -safemode forceExit. NamenodeHostName:node1

重启虚拟机后,依旧是无法退出安全模式。
询问GPT,它的回答如下:

这段日志信息表明,HDFS 的 NameNode 发现了元数据不一致的问题,导致它进入了安全模式,并且拒绝退出。以下是日志的详细解释:

1. 数据块达到阈值
日志中提到 "The reported blocks 7 has reached the threshold 0.9990 of total blocks 7",这意味着 NameNode 收到了 7 个数据块的信息,这些数据块达到了 HDFS 配置中设定的阈值 (0.9990),这是 NameNode 认为系统可以正常退出安全模式的条件之一。
2. DataNode 的数量不足
日志中提到 "The minimum number of live datanodes is not required",表示当前活跃的 DataNode 数量不足。这可能会影响数据的可靠性,因为不足的 DataNode 数量可能无法确保数据块的复制因子达到要求。
3. 未来的 Generation Stamp
"Name node detected blocks with generation stamps in future" 表示 NameNode 发现了一些数据块的生成戳(Generation Stamp)在未来,这表明元数据可能不一致。生成戳是用于标识数据块版本的,这种不一致通常意味着数据块或 NameNode 的元数据在时间上不匹配,可能是由于某些操作系统或集群管理工具引起的。
4. 元数据不一致
"This means that Name node metadata is inconsistent. This can happen if Name node metadata files have been manually replaced" 表示 NameNode 的元数据(FsImage 或 EditLogs)可能被手动替换过,导致当前的元数据和数据块信息不一致。
5. 退出安全模式会导致数据丢失
日志提到 "Exiting safe mode will cause loss of 238 byte(s)",表示如果你强制退出安全模式,可能会导致 238 字节的数据丢失。
6. 建议的解决方案
日志提供了两个建议的解决方案:
重新启动 NameNode:使用正确的元数据文件(FsImage 和 EditLogs)重启 NameNode。这意味着你需要确认并使用正确的备份文件。
强制退出安全模式:如果你确定当前使用的元数据是正确的,或者你正在执行回滚操作,日志建议使用 hdfs dfsadmin -safemode forceExit 命令强制退出安全模式。
结论
如果你确信当前的 NameNode 元数据是正确的,并且可以接受可能丢失的 238 字节的数据,那么可以使用 hdfs dfsadmin -safemode forceExit 命令强制退出安全模式。

然而,如果你不确定元数据的一致性,或者不能接受任何数据丢失,建议你检查 NameNode 的元数据文件(FsImage 和 EditLogs),确保它们没有被错误地替换或损坏。如果必要,可以尝试从备份中恢复元数据,然后重新启动 NameNode。

最后,想到可能是之前与恢复/保存快照有关,保存快照之后再次开机就出现了无法上传、删除文件的问题。
直接使用hdfs dfsadmin -safemode forceExit解决。


http://www.kler.cn/news/290739.html

相关文章:

  • 深入解析Spring Boot中的`@Transactional`注解
  • 学习之SQL语句DQL(数据库操作语言)之多表查询(内外连接,自连接,子查询)
  • web渗透:SSRF漏洞
  • Xinstall引领免邀请码下载新潮流,便捷又安全
  • 性能测试⼯具-——JMeter
  • 基于Java+SpringBoot+Vue+MySQL的地方美食分享网站
  • RDD、DataFrame、DataSet(Spark)
  • 深度学习(七)-计算机视觉基础
  • 0、Typescript学习
  • 【重学 MySQL】七、MySQL的登录
  • HTTPS理论(SSL/TLS)
  • 全面指南:在MySQL中实现数据备份的策略规划
  • NLP从零开始------17.文本中阶处理之序列到序列模型(2)
  • Draw.io for Mac/Win:免费且强大的流程图绘制工具
  • 数据库和MySQL
  • 网络协议--HTTP 和 HTTPS 的区别
  • 设计模式 —— 单例模式
  • 惠中科技PV-Wiper全自动光伏组件清洁系统:智能清洁赋能光伏产业
  • 日系编曲:日系钢琴写作思路 双手思维 双手编写思路 双手合并 琶音 刮奏 颤音 震音
  • 点云帧间位姿矩阵的预测和误差计算
  • [Meachines] [Medium] Bitlab 标签自动填充登录+GitLab+Docker横向+Postgresql+逆向工程
  • Spring AOP(下)原理
  • JMeter 接口自动化测试:以搜索功能为例的实现思路详解
  • vue + Lodop 制作可视化设计页面 实现打印设计功能(三)
  • 服务器文件权限限制写入
  • Ribbon 源码分析【Ribbon 负载均衡】
  • go 开发小技巧
  • 9.4日常记录
  • Git+word记笔记
  • DriveLM的baseline复现