当前位置： 首页 > article >正文

sparkSQL练习

article 2025/1/18 21:46:03

1.前期准备

（1）建议先把这两篇文章都看一下吧，然后把这个项目也搞下来

（2）看看这个任务

（3）score.txt

student_id,course_code,score
108,3-105,99
105,3-105,88
107,3-105,77
105,3-245,87
108,3-245,89
107,3-245,82
106,3-245,74
107,6-101,75
108,6-101,82
106,6-101,65
109,6-102,99
101,6-102,79
105,9-106,81
106,9-106,97
107,9-106,65
108,9-106,100
109,9-106,82
105,6-102,85

（4）student.txt

student_id,student_name,gender,birthday,class_id
108,ZhangSan,male,1995/9/1,95033
105,KangWeiWei,female,1996/6/1,95031
107,GuiGui,male,1992/5/5,95033
101,WangFeng,male,1993/8/8,95031
106,LiuBing,female,1996/5/20,95033
109,DuBingYan,male,1995/5/21,95031

（5）teacher.txt

teacher_id,teacher_name,gender,birthday,title,department
825,LinYu,male,1958/1/1,Associate professor,department of computer
804,DuMei,female,1962/1/1,Assistant professor,computer science department
888,RenLi,male,1972/5/1,Lecturer,department of electronic engneering
852,GongMOMO,female,1986/1/5,Associate professor,computer science department
864,DuanMu,male,1985/6/1,Assistant professor,department of computer

（6）course.txt

course_code,course_name,teacher_id
3-105,Introduction to computer,825
3-245,The operating system,804
6-101,Spark SQL,888
6-102,Spark,852
9-106,Scala,864

（7）代码准备

创建文件名为task7.scala

代码为

package com.itheima

import org.apache.spark.sql.SparkSession

//spark-sql
object task7 {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession
      .builder
      .appName("task7")
      .master("local")
      .getOrCreate()
    
    var teacher_path="src\\main\\resources\\teacher.txt"
    var teacher_df=spark.read.options(Map("sep"->",", "header"->"true")).csv(teacher_path)
    var student_path = "src\\main\\resources\\student.txt"
    var student_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(student_path)
    var score_path = "src\\main\\resources\\score.txt"
    var score_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(score_path)
    var course_path = "src\\main\\resources\\course.txt"
    var course_df = spark.read.options(Map("sep" -> ",", "header" -> "true")).csv(course_path)


    spark.stop()
  }

}

2.任务实现

（1）按照班级降序排序显示所有学生信息

代码1

    student_df.sort(student_df("class_id").desc).show()

截图1

（2）查询“计算机系”与“电子工程系“不同职称的教师的Tname和Prof

代码1

    var tdepartment=teacher_df("department")
    teacher_df.filter(tdepartment.contains("electronic")||tdepartment.contains("computer"))
      .select("teacher_name","title").show()

截图1

（3）显示student表中记录数

代码1

    println(student_df.count())

截图1

（4）显示性别为男的教师信息

代码1

    var tsex=teacher_df("gender")
    teacher_df.filter(tsex==="male").show()

截图1

（5）显示不重复的教师部门信息

代码1

    teacher_df.select("department").distinct().show()

截图1

（6）显示学号为101的学生信息

代码1

    var stu_id=student_df("student_id")
    student_df.filter(stu_id===101).show()

截图1

（7）将教师信息以List的形式显示

代码1

    teacher_df.collect().toList.foreach(println)

截图1

（8）查询所有“女”教师和“女”同学的name、sex和birthday

代码1

    //lit 函数用于创建一个字面量（常量）列
    //col 函数用于引用 DataFrame 中的列
    var t_res=teacher_df.filter(col("gender")==="female")
      .select(col("teacher_name").as("name"),
        col("gender"),col("birthday"),
        lit("teacher").as("type"))
    var stu_res = student_df.filter(col("gender") === "female")
      .select(col("student_name").as("name"),
        col("gender"), col("birthday"),
        lit("student").as("type"))

    t_res.union(stu_res).show()

截图1

3.补充笔记

（1）这两个上课时老师没有讲到，但是有用

导入这些库，才能使用这些函数

import org.apache.spark.sql.functions.col
import org.apache.spark.sql.functions.lit
//lit 函数用于创建一个字面量（常量）列
//col 函数用于引用 DataFrame 中的列

（2）导入函数库要注意

在 Scala 语言中，_（下划线）是一个特殊的符号，具有多种用途。在 import 语句中，_ 用来表示“所有”，是一种通配符。

当你看到这样的导入语句：

scala复制

import org.apache.spark.sql.functions._

这里的 _ 表示导入 org.apache.spark.sql.functions 包中的所有公共成员（包括类、对象、函数等）。这样做的好处是可以让你在后续的代码中直接使用该包中的所有函数和类，而无需再次指定完整的包名。例如，你可以直接使用 col、lit 等函数，而不需要写成 org.apache.spark.sql.functions.col、org.apache.spark.sql.functions.lit。

不过，这种导入方式也有缺点，可能会导致命名冲突，特别是当你从多个包中导入所有成员时，如果有两个包中存在同名的成员，就会出现冲突。因此，在一些情况下，更推荐使用具体的导入方式，明确指定需要导入的成员，以避免潜在的冲突。

（3）有关这四个txt文件的注释如下

这4份数据分别代表了课程信息、学生成绩、学生信息和教师信息，下面分别进行解析：

课程信息

  • 字段说明

    • course_code：课程代码，如“3-105”“3-245”等，是课程的唯一标识。

    • course_name：课程名称，如“Introduction to computer”“The operating system”等，表明课程的具体内容。

    • teacher_id：教师编号，如“825”“804”等，表示教授该课程的教师。

  • 数据内容

    • 共有5门课程，涵盖了计算机基础、操作系统、Spark相关知识以及Scala语言等领域，课程代码、名称和对应的教师编号一一对应。

学生成绩

  • 字段说明

    • student_id：学生编号，如“108”“105”等，是学生的唯一标识。

    • course_code：课程代码，与课程信息表中的课程代码相对应，表示学生所选修的课程。

    • score：分数，如“99”“88”等，表示学生在该课程中的成绩。

  • 数据内容

    • 每位学生选修了不同数量的课程，如学生105选修了3门课程，学生107选修了3门课程等。不同学生在相同课程中的成绩有高有低，例如在“3-105”这门课中，学生108得了99分，学生105得了88分，学生107得了77分。

学生信息

  • 字段说明

    • student_id：学生编号，与学生成绩表中的学生编号相对应。

    • student_name：学生姓名，如“ZhangSan”“KangWeiWei”等，表明学生的具体身份。

    • gender：性别，如“male”“female”，表示学生的性别。

    • birthday：生日，如“1995/9/1”“1996/6/1”等，记录学生的出生日期。

    • class_id：班级编号，如“95033”“95031”，表示学生所在的班级。

  • 数据内容

    • 共有6名学生，姓名、性别、生日和班级编号等信息齐全。从生日来看，学生年龄有大有小，如GuiGui生于1992年，而KangWeiWei生于1996年。从班级编号来看，学生分布在95031班和95033班两个班级。

教师信息

  • 字段说明

    • teacher_id：教师编号，与课程信息表中的教师编号相对应。

    • teacher_name：教师姓名，如“LinYu”“DuMei”等，表明教师的具体身份。

    • gender：性别，如“male”“female”，表示教师的性别。

    • birthday：生日，如“1958/1/1”“1962/1/1”等，记录教师的出生日期。

    • title：职称，如“Associate professor”“Assistant professor”“Lecturer”，表示教师的专业技术职称。

    • department：系别，如“department of computer”“computer science department”“department of electronic engneering”，表示教师所在的系别。

  • 数据内容

    • 共有5名教师，姓名、性别、生日、职称和系别等信息完整。从职称来看，有副教授、助理教授和讲师等不同职称。从系别来看，教师分布在计算机系、计算机科学系和电子工程系等不同系别。


http://www.kler.cn/a/508377.html

相关文章：

  • SpringMVC 实战指南：打造高效 Web 应用的秘籍
  • 【论文阅读】基于空间相关性与Stacking集成学习的风电功率预测方法
  • pytest全局配置文件pytest.ini
  • RAG 切块Chunk技术总结与自定义分块实现思路
  • Linux操作命令之云计算基础命令
  • Unity搭配VS Code使用
  • 使用FineBI进行数据分析（入门级）
  • 天机学堂3-ES+Caffeine
  • 多个页面一张SQL表，前端放入type类型
  • C++实现设计模式---中介者模式 (Mediator)
  • 【机器学习：三十三（一）、支持向量机】
  • YOLOv11改进，YOLOv11检测头融合RFAConv卷积，并添加小目标检测层（四头检测），适合目标检测、分割等任务
  • RV1126+FFMPEG推流项目(7)AI音频模块编码流程
  • 游戏引擎学习第80天
  • VTK知识学习（36）-图像平滑
  • 【spark源码修改】hive3.1.3 spark3.5.4编译，需要修改源码，最终编译成功
  • 全国青少年信息学奥林匹克竞赛（信奥赛）备考实战之一维数组（应用技巧）
  • linux 国产化命令
  • 算法随笔_10: 供暖器
  • Linux网络 TCP socket
  • 一体机cell服务器更换内存步骤
  • java 小红书源码 1:1还原 uniapp
  • 小识MySQL中的OLTP和OLAP
  • 全类别机器人传感器模块推荐
  • RK3568笔记七十五：FFMPEG交叉编译
  • Rnote：Star 8.6k,github上的宝藏项目，手绘与手写画图笔记，用它画图做笔记超丝滑，值得尝试！