当前位置： 首页 > article >正文

Spark 平障录

article 2024/11/12 14:12:51

Profile

Profile 是最重要的第一环。

  • 利用好 spark UI 和 yarn container log
  • 分析业务代码，对其计算代价进行预判
  • 建设基准，进行对比，比如application id 进行对比，精确到 job DAG 环节
充分利用 UI
Stage 页面

页头 summary，也很重要。
在这里插入图片描述

勾选所有 UI metrics，提供判断依据

在这里插入图片描述

task 维度 metrics

在这里插入图片描述

在这里插入图片描述

Executor 维度

在这里插入图片描述

application id 对比

如果两个application id， shuflfle read/write 差不多，input/output 差不多。
慢的那一个，如果内存消耗大，那说明计算量大，比如 sum， count 等

Executor 页面

选中所有 metrics，增加判断依据
在这里插入图片描述

注意GC
在这里插入图片描述


http://www.kler.cn/a/134295.html

相关文章：

  • el-input 正则表达式校验输入框不能输入汉字
  • C++常用的特性--＞day05
  • Local Dimming和Mini LED简介
  • uniapp中使用全局样式文件引入的三种方式
  • 订单分库分表
  • 实现uniapp-微信小程序 搜索框+上拉加载+下拉刷新
  • c++中的特殊类设计
  • Linux——编译器gcc/g++、调试器gdb以及自动化构建工具makefilemake详解
  • 【数据库表及字段统计SQL】【mysql】【clickhouse】【oracle】
  • AIGC之Stable Diffusion
  • YOLOv8优化策略：轻量级Backbone改进 | VanillaNet极简神经网络模型 | 华为诺亚2023
  • Linux系统编程 day02 vim、gcc、库的制作与使用
  • 龙芯 Loongson 架构 UOS 系统编译 Qt 5.15.2 源码
  • boomYouth
  • 2023.11.18html中如何使用input/button进行网页跳转
  • GIT无效的源路径/URL
  • SOME/IP 协议介绍（五）指南
  • 基于灰狼算法(GWO)优化的VMD参数（GWO-VMD）
  • 【Proteus仿真】【STM32单片机】防火防盗GSM智能家居设计
  • Dockerfile自定义镜像以及案例分析
  • C++二分查找算法：找到 Alice 和 Bob 可以相遇的建筑
  • Python PyQt 程序设置图标
  • JS-项目实战-鼠标悬浮变手势（鼠标放单价上生效）
  • 【Linux】安全审计-audit
  • SpringBoot静态资源配置
  • Linux socket编程(4):服务端fork之僵尸进程的处理