【Spark基础】-- RDD 转 Dataframe 的三种方式
一、环境说明
Oracle JDK 11
Scala 2.12.17
Apache Spark 3.1.1
Apache Hadoop 3.1.0二、RDD 转 Dataframe 的方法
1、通过 StructType 创建 Dataframe（强烈推荐使用这种方法）
/**
* 方法一：通过 StructType 创建 Dataframe
* @param spark SparkSession
* @param rdd 输入
* @return 输出
*/
private def func1(spark:SparkSession, rdd:RDD[(Int, String, Int, String, String)]):DataFrame ={
LOG.warn("------> (1) 构建 structSchema")
val structSchema: StructType = StructType(
List(
StructField("id", IntegerType, true),
StructField("name", StringType, true),
StructField("age", IntegerType, true),
StructField("address", StringType, true),
StructField("phoneNumber", StringType, false)
)
)
LOG.warn("------> (2)创建 DF&