当前位置： 首页 > article >正文

Spark 平障录

article 2024/9/24 19:19:15

Profile

Profile 是最重要的第一环。

  • 利用好 spark UI 和 yarn container log
  • 分析业务代码，对其计算代价进行预判
  • 建设基准，进行对比，比如application id 进行对比，精确到 job DAG 环节
充分利用 UI
Stage 页面

页头 summary，也很重要。
在这里插入图片描述

勾选所有 UI metrics，提供判断依据

在这里插入图片描述

task 维度 metrics

在这里插入图片描述

在这里插入图片描述

Executor 维度

在这里插入图片描述

application id 对比

如果两个application id， shuflfle read/write 差不多，input/output 差不多。
慢的那一个，如果内存消耗大，那说明计算量大，比如 sum， count 等

Executor 页面

选中所有 metrics，增加判断依据
在这里插入图片描述

注意GC
在这里插入图片描述


http://www.kler.cn/news/134295.html

相关文章：

  • c++中的特殊类设计
  • Linux——编译器gcc/g++、调试器gdb以及自动化构建工具makefilemake详解
  • 【数据库表及字段统计SQL】【mysql】【clickhouse】【oracle】
  • AIGC之Stable Diffusion
  • YOLOv8优化策略：轻量级Backbone改进 | VanillaNet极简神经网络模型 | 华为诺亚2023
  • Linux系统编程 day02 vim、gcc、库的制作与使用
  • 龙芯 Loongson 架构 UOS 系统编译 Qt 5.15.2 源码
  • boomYouth
  • 2023.11.18html中如何使用input/button进行网页跳转
  • GIT无效的源路径/URL
  • SOME/IP 协议介绍（五）指南
  • 基于灰狼算法(GWO)优化的VMD参数（GWO-VMD）
  • 【Proteus仿真】【STM32单片机】防火防盗GSM智能家居设计
  • Dockerfile自定义镜像以及案例分析
  • C++二分查找算法：找到 Alice 和 Bob 可以相遇的建筑
  • Python PyQt 程序设置图标
  • JS-项目实战-鼠标悬浮变手势（鼠标放单价上生效）
  • 【Linux】安全审计-audit
  • SpringBoot静态资源配置
  • Linux socket编程(4):服务端fork之僵尸进程的处理
  • ClickHouse UDF 运行速度慢问题
  • docker容器内访问主机端口服务
  • Visual Studio Code 从英文界面切换中文
  • 鸿蒙：实现两个Page页面跳转
  • 多线程概述
  • RTMP协议和源码解析
  • MFC/QT 一些快要遗忘的细节：
  • 本地Git项目同时推送至GitHub和Gitee
  • 蓝桥杯每日一题2023.11.18
  • Appium自动化测试：通过appium的inspector功能无法启动app的原因