当前位置: 首页 > article >正文

Spark_跑批__.checkpoint()为什么比.persist()快

昨天同事和我讨论了一个情况,情况是这样的:

        他在跑一个spark程序,跑的时候差不多五六分钟(加了persist的情况),如果不加persist,改为..checkpoint()缓存,速度基本维持在三四分钟左右,速度提升了不少,查了源码和资料,理解了些,先放着,后面再研究吧

例如:

Spark Checkpoint的运行原理和源码实现-腾讯云开发者社区-腾讯云

https://blog.csdn.net/liuyunshengsir/article/details/112647292


http://www.kler.cn/a/375426.html

相关文章:

  • 微信小程序中,点击视频,没有跳转播放,可能是因为没有在app.json中正确注册视频播放页面的路径
  • 2021-10-28 51蛋骗鸡独立按键控制LED和蜂鸣器
  • Python的全局锁GIL解析
  • Java Executor ScheduledExecutorService 源码
  • 「Mac畅玩鸿蒙与硬件8」鸿蒙开发环境配置篇8 - 应用依赖与资源管理
  • ssm基于vue搭建的新闻网站+vue
  • TikTok视频上传失败:原因与解决方案
  • 【AI学习】Mamba学习(十四):S5模型的矩阵A对角化
  • 黑龙江某涝区泵闸站自动化、信息化改造项目案例
  • C语言函数嵌套调用
  • 【iOS】使用AFNetworking进行网络请求
  • Java第二阶段---16字符串---第一节 String
  • 探索Python文档自动化的奥秘:揭开docxtpl库的神秘面纱
  • 大数据-201 数据挖掘 机器学习理论 - 决策树 局部最优 剪枝 分裂 二叉分裂
  • Jenkins 构建时报错 No RSA host key is known for
  • shell脚本实例(4)while实现1+...+100,linux新增用户
  • notepad++ compare插件的离线下载和安装
  • 【大数据学习 | kafka】kafka的ack和一致性
  • Rust:Vec<u8> 与 [u8] 之间的转换
  • 第三方的mkvimball 使用
  • PySpark 本地开发环境搭建与实践
  • 一些MATLAB到Python的转换指南
  • 助力风力发电风机设备智能化巡检,基于YOLOv3全系列【tiny/l/spp】参数模型开发构建无人机巡检场景下风机叶片缺陷问题智能化检测预警模型
  • 为开源 AI 模型引入激励机制?解读加密 AI 协议 Sentient 的大模型代币化解决方案
  • SpringBoot抗疫物资管理:系统设计与优化
  • USIM下面的 5F50 DFHNB