SparkSQL远程调试(IDEA)
- 启动Intellij IDEA,打开spark源码项目,配置远程调试 Run->Edit Configuration
- 启动远程spark-sql
spark-sql --verbose --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005"
- 运行远程调试,RUN -> Debug ‘spark-sql’,在源码中设置断点
- 在远程spark-sql客户端输入SQL语句并运行
select count(name) cnt from student where age > 14;
- 在IDEA工具中可以单步调试,查看每一步的结果。