当前位置: 首页 > article >正文

SparkSQL远程调试(IDEA)

  1. 启动Intellij IDEA,打开spark源码项目,配置远程调试 Run->Edit Configuration
    请添加图片描述
  2. 启动远程spark-sql
spark-sql --verbose --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
  1. 运行远程调试,RUN -> Debug ‘spark-sql’,在源码中设置断点
    请添加图片描述
  2. 在远程spark-sql客户端输入SQL语句并运行
select count(name) cnt from student where age > 14;
  1. 在IDEA工具中可以单步调试,查看每一步的结果。

http://www.kler.cn/a/150207.html

相关文章:

  • RESTful风格
  • 【用Java学习数据结构系列】泛型上界与通配符上界
  • Vue 全局状态管理:Vuex 从入门到精通
  • sparkSQL面试题
  • 1、Qt6 Quick 简介
  • 东北虎豹国家公园shp格式范围
  • 深入了解Jackson库中的ObjectMapper:Java对象的序列化和反序列化
  • qt 简单了解QHBoxLayout QVBoxLayout QFormLayout水平,垂直,表单布局管理器.
  • BUUCTF刷题之路-pwn-ciscn_2019_n_81
  • Elasticsearch 聚合查询(Aggregation)详解
  • 虚拟机指定开放数据库3306端口
  • Golang开发之------ Beego框架
  • 异步操作的方法
  • genimage 打包镜像
  • ESP32-Web-Server编程- WebSocket 编程
  • leetcode二叉树
  • Spring Boot项目Service类单元测试自动生成
  • TikTok区块链实践:数字社交媒体的去中心化未来
  • 记录一次登录相关bug
  • Hive_last_value()
  • 解决QT信号在信号和槽连接前发出而导致槽函数未调用问题
  • 爬虫代理技术与构建本地代理池的实践
  • 亚马逊云科技向量数据库助力生成式AI成功落地实践探秘(二)
  • Java LeetCode篇-深入了解关于单链表的经典解法
  • Linux命令中的符号
  • 初学者如何入门深度学习:以手写数字字符识别为例看AI 的学习路径,一图胜千言!