当前位置： 首页 > article >正文

spark运行流程

article 2025/3/3 4:21:06

spark运行流程

在这里插入图片描述

  1. 任务提交后，先启动 Driver 程序
  2. 随后 Driver 向集群管理器注册应用程序
  3. 集群管理器根据此任务的配置文件分配 Executor 并启动
  4. Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推
    算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task
  5. 查找可用资源 Executor 进行调度
  6. 根据本地化原则，Task 会被分发到指定的 Executor 去执行
  7. 任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况
    进行通信，报告任务运行情况

http://www.kler.cn/a/521372.html

相关文章：

  • Linux：文件与fd（被打开的文件）
  • DeepSeek-R1，用Ollama跑起来
  • 【25考研】人大计算机考研复试该怎么准备？有哪些注意事项？
  • HTML5+SVG+CSS3实现雪中点亮的圣诞树动画效果源码
  • Effective C++ 规则51：编写 new 和 delete 时需固守常规
  • pytorch深度学习模型推理和部署、pytorchONNXtensorRT模型转换以及python和C++版本部署
  • [MILP] Logical Constraints 0-1 (Note1)
  • 人力资源管理HR系统的需求设计和实现
  • 智慧消防营区一体化安全管控 2024 年度深度剖析与展望
  • 高频 SQL 50 题（基础版）_620. 有趣的电影
  • 作业day3
  • Day43：列表元素的统计
  • c++ list
  • 一次端口监听正常，tcpdump无法监听到指定端口报文问题分析
  • 以用户为中心，优化 B 端界面设计
  • this、self、window、top 在 JavaScript 中的区别深入研究
  • 996引擎 - NPC-动态创建NPC
  • “AI质量评估系统：智能守护，让品质无忧
  • 人格分裂(交互问答)-小白想懂Elasticsearch
  • 1.26寒假作业