当前位置: 首页 > article >正文

SparkSQL远程调试(IDEA)

  1. 启动Intellij IDEA,打开spark源码项目,配置远程调试 Run->Edit Configuration
    请添加图片描述
  2. 启动远程spark-sql
spark-sql --verbose --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
  1. 运行远程调试,RUN -> Debug ‘spark-sql’,在源码中设置断点
    请添加图片描述
  2. 在远程spark-sql客户端输入SQL语句并运行
select count(name) cnt from student where age > 14;
  1. 在IDEA工具中可以单步调试,查看每一步的结果。

http://www.kler.cn/a/150207.html

相关文章:

  • Django框架的全面指南:从入门到高级
  • 智慧园区系统集成解决方案提升管理效率与智能化水平的新探索
  • C#使用实体类Entity Framework Core操作mysql入门:从数据库反向生成模型2 处理连接字符串
  • Java 数据库连接池:HikariCP 与 Druid 的对比
  • 为AI聊天工具添加一个知识系统 之85 详细设计之26 批流一体式 与数据提取器
  • Jupyterlab和notebook修改文件的默认存放路径的方法
  • 深入了解Jackson库中的ObjectMapper:Java对象的序列化和反序列化
  • qt 简单了解QHBoxLayout QVBoxLayout QFormLayout水平,垂直,表单布局管理器.
  • BUUCTF刷题之路-pwn-ciscn_2019_n_81
  • Elasticsearch 聚合查询(Aggregation)详解
  • 虚拟机指定开放数据库3306端口
  • Golang开发之------ Beego框架
  • 异步操作的方法
  • genimage 打包镜像
  • ESP32-Web-Server编程- WebSocket 编程
  • leetcode二叉树
  • Spring Boot项目Service类单元测试自动生成
  • TikTok区块链实践:数字社交媒体的去中心化未来
  • 记录一次登录相关bug
  • Hive_last_value()
  • 解决QT信号在信号和槽连接前发出而导致槽函数未调用问题
  • 爬虫代理技术与构建本地代理池的实践
  • 亚马逊云科技向量数据库助力生成式AI成功落地实践探秘(二)
  • Java LeetCode篇-深入了解关于单链表的经典解法
  • Linux命令中的符号
  • 初学者如何入门深度学习:以手写数字字符识别为例看AI 的学习路径,一图胜千言!