当前位置：首页 > article >正文

Hadoop 3.x 新特性详解

article 2024/11/19 10:51:04

Hadoop 3.x 新特性详解

Hadoop 3 相比 Hadoop 2 带来了许多重要的增强和优化功能，进一步提升了稳定性、可扩展性和性能。以下是 Hadoop 3 的主要新特性及改进的详细介绍。

HDFS的新特性

HDFS 是 Hadoop 用来存储数据的核心组件，它可以把大文件切分成多个块（Block），然后分布式地存储在多台机器上。

纠删码支持（Erasure Coding）

背景：传统副本存储问题
传统方式：为了防止数据丢失，HDFS 通常会把同一份数据复制 3 份（即 3 倍存储开销）。
问题：这种方法可靠性高，但非常浪费存储空间。

纠删码（Erasure Coding）解决了什么问题？
纠删码的原理：
将数据分成多个部分，并生成一些额外的校验数据。
即使部分数据丢失，仍然可以通过校验数据重建完整数据。
存储优势：使用 Reed-Solomon (10,4) 编码技术，仅需 1.4 倍存储开销（比传统的 3 倍节省 50% 以上）。

适用场景：
冷数据：很少访问的大数据（如历史日志文件、备份数据）。

注意事项：
数据重建过程会消耗更多的 CPU 和网络资源。
因此，不适合用于频繁访问的数据。

支持多于两个 NameNode

背景：HDFS 的高可用性（HA）问题
在 Hadoop 中，NameNode 是 HDFS 的核心节点，负责管理文件系统的元数据（即哪些文件存在哪些数据块）。
传统上，HDFS 的高可用性依赖于 1 个活跃（Active）NameNode 和 1 个备用（Standby）NameNode。

多 NameNode 的好处
Hadoop 3 支持多个 Standby NameNode（如 2 个备用节点），提高了容错能力。
例子：使用 3 个 NameNode 和 5 个 JournalNode，可以在 2 个节点故障的情况下仍然保持集群运行。

数据节点内置平衡器（Intra-Datanode Balancer）

背景：数据分布不均问题
每个 DataNode（存储数据块的节点）通常会有多个磁盘存储数据。
如果你在 DataNode 中添加或替换磁盘，可能导致新磁盘上的数据很少，而旧磁盘的数据几乎满了。

问题：DataNode 内部磁盘不平衡，可能导致性能问题。

新特性：内置平衡器
Hadoop 3 引入了 DataNode 内部平衡器，可以在 DataNode 内部重新分配数据，确保各磁盘数据均衡。
使用方式：通过 hdfs diskbalancer 命令调用。

基于路由器的 HDFS 联邦（Router-Based Federation）

背景：多命名空间管理问题
在大规模 Hadoop 集群中，可能有多个独立的 HDFS 命名空间，每个命名空间是一个独立的文件系统。
问题：客户端需要单独管理如何访问这些命名空间。

新特性：Router-Based Federation
引入了一个基于路由器的 RPC 层，提供统一的视图，隐藏了多个命名空间的复杂性。

好处：
客户端可以像访问单一 HDFS 一样访问多个命名空间。
简化管理，操作由服务端完成。

YARN（资源管理框架）的新特性

YARN 是 Hadoop 的资源调度系统，负责管理 Hadoop 集群中的计算资源（如内存、CPU 等），并分配给不同的应用程序或任务。

YARN Timeline Service v.2

背景：时间线服务问题
Timeline Service 是 YARN 用来跟踪应用程序运行历史数据的工具（例如任务运行的时间、状态等）。
问题：v.1.x 的时间线服务在大规模集群中易出现性能瓶颈。

新特性：v.2
提高了时间线服务的可扩展性和可靠性。
新增功能：
流（Flow）：可以组织和管理应用程序之间的工作流。
聚合（Aggregation）：可以从多个来源汇总数据。

资源类型的扩展

背景：传统资源模型的局限
Hadoop 2.x 的资源模型只支持 CPU 和内存。
问题：在异构集群中（如 GPU 服务器、本地存储服务器），无法根据其他资源类型进行任务调度。

新特性：支持自定义资源类型
集群管理员可以定义新的资源类型（如 GPU 数量、存储容量等）。
好处：YARN 的任务可以针对 GPU 或其他资源进行调度，适应更多样化的硬件环境。

支持 Opportunistic Containers 和分布式调度

背景： 资源调度效率
在资源不足的情况下，任务可能需要等待较长时间才能执行。
Opportunistic Containers
工作机制：
在资源不足时，任务会进入 NodeManager 的队列，等待资源释放后再执行。
优先级低于 Guaranteed Containers。

好处：即使在高负载时，任务也不会被拒绝，提高了集群的利用率。
分布式调度
由 NodeManager 直接进行任务调度，减少了中心化调度的延迟。

Guaranteed Containers 与 Opportunistic Containers 的对比

特性	Guaranteed Containers	Opportunistic Containers
资源分配	即时分配，任务启动时资源已准备好	等待资源可用时才开始执行
优先级	高	低
适用场景	关键任务，需要稳定资源支持	非关键任务，资源紧张时可延迟执行
资源抢占	不会被抢占，可抢占 Opportunistic	可被 Guaranteed 容器抢占
资源利用率	可能导致资源碎片化	更高的集群利用率

基于 API 的 Capacity Scheduler 队列配置

背景：队列配置管理问题
YARN 的队列配置通常通过手动编辑配置文件完成。
问题：手动管理队列配置复杂且容易出错。
新特性：API 管理队列配置
提供 REST API 接口，支持动态修改队列配置。

好处：
管理员可以通过脚本或工具自动化队列管理。
更加灵活，避免手动配置文件的复杂操作。

MapReduce 优化

任务级本地优化

背景：什么是 MapReduce？
MapReduce 是 Hadoop 中用于处理大规模数据的核心计算框架。
Map 阶段将数据分成多个小部分并进行初步处理。
Reduce 阶段汇总和整理来自 Map 阶段的输出。
Shuffle 操作是指 Map 阶段的输出数据被传递到 Reduce 阶段，这需要进行排序和网络传输。

问题：Shuffle 操作的性能瓶颈
Shuffle 是 MapReduce 的关键步骤，但由于需要大量的数据传输和排序，性能往往成为瓶颈。

优化：本地化映射输出收集器
本地化处理：Hadoop 3 支持将 Shuffle 操作部分在本地完成，而非全部通过网络传输。
性能提升：对于需要大量 Shuffle 操作的任务，可提升 30% 的性能。
适用场景：特别适用于需要频繁数据交换的大型任务。