Hadoop生态圈三大组件：HDFS的读写流程、MapReduce计算流程、Yarn资源调度
文章目录
- 1. HDFS的读写流程
- 1.1 HDFS读流程
- 1.2 HDFS写流程
- 2. MapReduce计算流程
- 3. Yarn资源调度
- 一、客户端请求资源
- 二、Resource Manager处理请求
- 三、任务资源计算与申请
- 四、Resource Manager分配资源
- 五、Node Manager执行任务
- 六、任务执行与监控
1. HDFS的读写流程
1.1 HDFS读流程
- 客户端首先向Namenode发送读取请求，询问要读取的文件存储在哪些数据节点上。
- Namenode会根据机架感知原理、网络拓扑关系、副本机制等返回部分或者全部的block所在的Datanode的地址。
- 客户端根据Namenode返回的地址，选择一个距离最近的Datanode节点来读取第一个数据块。客户端直接与该数据节点建立连接，并发送读取请求。
- Datanode接收到读取请求后，开始从磁盘上读取相应的数据块，并将数据通过网络传输给客户端。
- 客户端在接收数据的同时，会对数据进行校验，以确保数据的完整性。如果发现数据损坏，客户端可以向其他包含该数据块副本的数据节点请求重新读取。
- 当客户端读取完一个Datanode后，会根据Namenode提供的块位置信息，选择下一个数据节点来读取下一个数据块。重复上述步骤，直到客户端读取完整个文件。
1.2 HDFS写流程
- 客户端向Namenode发送写入请求。
- Namenode接收到写入请求后，首先判断当前这个操作的用户是否具有写入权限，如果不具备写入权限会直接报错；如果有写入权限，再进行判断在写入的目录下是否存在这个文件；如果要写入的目录下已经存在这个文件，会直接报错；如果要写入的目录下不存在这个文件，通知客户端可以写入。
- 客户端对文件进行切分操作，形成block块。
- 客户端请求第一个block块存储在哪些地方。
- Namenode根据机架感知原理、拓扑关系、副本机制等，找到相应的可以上传的Datanode的连接列表，返回给客户端。
- 客户端从接受的Datanode列表中选择第一台建立连接，当连接第一台Datanode以后，让第一台Datanode与第二台Datanode连接，然后第二台Datanode与第三台Datanode连接形成一条pipeline（管道）。
- 客户端通过数据包的形式发送数据。当第一台Datanode接收到数据后，将数据发送给第二台Datanode，第二台接收完，再将数据发送给第三台。当最后一个Datanode接受请求后建立一个反向的应答队列。当每个节点都将数据包接收到以后，反向给予应答响应（ack确认机制）。
2. MapReduce计算流程
MR天龙八部
3. Yarn资源调度
YARN（Yet Another Resource Negotiator）是Hadoop的资源管理系统，其资源调度机制如下：
一、客户端请求资源
- 提交任务请求
- 客户端首先将任务提交给Resource Manager。
二、Resource Manager处理请求
- 接收任务请求
- Resource Manager接收到客户端的任务请求。
- 选择Node Manager
- Resource Manager在Node Manager上寻找一个比较空闲的节点。
- 通知并启动一个Application Master，将任务信息发送给Application Master，等待Application Master启动成功。
- 如果启动失败，认为当前任务直接报错，告知任务无法执行。
- 获取任务相关信息
- Application Master启动后，开始和主节点保持心跳机制，获取任务相关的信息（如JAR包路径、主类、参数）。
三、任务资源计算与申请
- 计算任务数量
- 根据任务信息，计算共需要多少Map Task和多少Reduce Task。
- 发送资源请求
- 通过心跳包，将任务计算的结果资源需求发送给主节点，进行资源的申请。
四、Resource Manager分配资源
- 资源分配工作
- 根据收到的资源申请的结果信息，进行资源的分配工作。
- 如果资源比较宽松，一次性将所需的所有资源一并全返回。
- 如果资源比较紧张，最起码应该返回所有Map Task所需资源。
五、Node Manager执行任务
- 获取资源信息
- Application Master通过心跳包，一直询问是否已经准备好资源，一旦准备好，将资源信息全部获取。
- 通知Node Manager
- 根据获取的资源信息，通知各个Node Manager，启动相关的程序（先启动Map Task），告知Node Manager任务信息（如JAR包路径、主类、参数）。
六、任务执行与监控
- 执行任务进度监控
- 每一个运行的container定时和Application Master汇总执行任务执行的进度。
- 并且还基于Node Manager和Resource Manager的使用情况，报告资源的使用情况。
- 如果初始化的时候，只是返回Map Task运行的资源。
- 当Map Task执行完成后，或者执行过程中，Application Master向Resource Manager/Node Manager询问Reduce Task的资源是否已经准备好了，如果准备好了，就进行Reduce任务。
- 任务完成报告
- 当整个Map Task和Reduce Task都运行完成后，通知Application Master已经完成执行任务了。
- 资源回收
- Resource Manager收回所有分配的资源，然后通知Application Master可以执行自毁程序了。
这种资源调度机制确保了在YARN集群中，任务能够高效地获取和利用资源，同时也保证了资源的合理分配和管理。