当前位置: 首页 > article >正文

Spark_跑批__.checkpoint()为什么比.persist()快

昨天同事和我讨论了一个情况,情况是这样的:

        他在跑一个spark程序,跑的时候差不多五六分钟(加了persist的情况),如果不加persist,改为..checkpoint()缓存,速度基本维持在三四分钟左右,速度提升了不少,查了源码和资料,理解了些,先放着,后面再研究吧

例如:

Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云

https://blog.csdn.net/liuyunshengsir/article/details/112647292


http://www.kler.cn/a/375426.html

相关文章:

  • 自动驾驶控制算法-横向误差微分方程LQR前馈控制
  • 如何实现圆形头像功能
  • 精通Redis
  • 页面无滚动条,里面div各自有滚动条
  • 使用CNN模型训练图片识别(键盘,椅子,眼镜,水杯,鼠标)
  • 【C#】try-catch-finally语句的执行顺序,以及在发生异常时的执行顺序
  • TikTok视频上传失败:原因与解决方案
  • 【AI学习】Mamba学习(十四):S5模型的矩阵A对角化
  • 黑龙江某涝区泵闸站自动化、信息化改造项目案例
  • C语言函数嵌套调用
  • 【iOS】使用AFNetworking进行网络请求
  • Java第二阶段---16字符串---第一节 String
  • 探索Python文档自动化的奥秘:揭开docxtpl库的神秘面纱
  • 大数据-201 数据挖掘 机器学习理论 - 决策树 局部最优 剪枝 分裂 二叉分裂
  • Jenkins 构建时报错 No RSA host key is known for
  • shell脚本实例(4)while实现1+...+100,linux新增用户
  • notepad++ compare插件的离线下载和安装
  • 【大数据学习 | kafka】kafka的ack和一致性
  • Rust:Vec<u8> 与 [u8] 之间的转换
  • 第三方的mkvimball 使用
  • PySpark 本地开发环境搭建与实践
  • 一些MATLAB到Python的转换指南
  • 助力风力发电风机设备智能化巡检,基于YOLOv3全系列【tiny/l/spp】参数模型开发构建无人机巡检场景下风机叶片缺陷问题智能化检测预警模型
  • 为开源 AI 模型引入激励机制?解读加密 AI 协议 Sentient 的大模型代币化解决方案
  • SpringBoot抗疫物资管理:系统设计与优化
  • USIM下面的 5F50 DFHNB