当前位置: 首页 > article >正文

2023_Spark_实验九:编写WordCount程序(Scala版)

需求:

1、做某个文件的词频统计//某个单词在这个文件出现次数

步骤:

  1. 文件单词规律(空格分开)
  2. 单词切分
  3. 单词的统计(k,v)->(k:单词,V:数量)
  4. 打印

框架:

  1. 单例对象,main()
  2. 创建CONF
  3. 创建SC-->读取文件的方式--》RDD
  4. RDD进行处理
  5. 闭资源关

一、新建object类取名为WordCount

2、编写如下代码

import org.apache.spark.{SparkConf, SparkContext}

object WordCount {
    def main(args: Array[String]): Unit = {
        System.setProperty("hadoop.home.dir","D:\\hadoop\\hadoop-2.8.0")
        val sparkConf= new SparkConf().setAppName("WordCount").setMaster("local") //设置为本地模式

        val sc = new SparkContext(sparkConf)
        sc.setLogLevel("WARN")
        val resultArray = sc.textFile(path = "file:///d:/temp/a.txt")
            .flatMap(_.split(" "))
            .map((_,1))
            .reduceByKey(_+_)
            .collect()
        resultArray.foreach(println )
        sc.stop()
    }

}

3、本地运行,查看运行结果如下:

解决无法下载spark与打包插件的办法

maven打包插件与spark所需依赖下载地址:

链接:百度网盘 请输入提取码

提取码:jnta

解决步骤:

到网盘下载maven打包插件与spark依赖,网盘吗中的内容如下:

  1. 将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下
  2. 将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下
  3. 重启idea,重新build下工程

将下载的插件plugins.rar解压,并复制插件文件夹到你本地maven仓库下

将下载的spark依赖spark.rar解压,并复制spark文件夹到你本地maven仓库下

重启idea,重新build下工程


http://www.kler.cn/a/331238.html

相关文章:

  • 面试基础篇---迭代器,yield, tcp, 等
  • 菜鸟带新鸟——基于EPlan2022的部件库制作
  • Charles安装证书过程(手机)
  • js事件机制详解
  • 观察者模式(sigslot in C++)
  • 【RAG实战】Prompting vs. RAG vs. Finetuning: 如何选择LLM应用选择最佳方案
  • 在C#中使用Redis实现高效消息队列
  • 物理学基础精解【44】
  • [leetcode]674_最长连续递增序列
  • JavaScript实现接口请求的超时机制方法汇总
  • AIOps案例 | 历史库异常,如何快速响应与优化?
  • 【大数据入门 | Hive】Join语句
  • CSS 盒子属性
  • 霍夫曼树及其与B树和决策树的异同
  • 设计模式-生成器模式/建造者模式Builder
  • Python画笔案例-070 绘制通电棒棒
  • 这次PostgreSQL事故后,我把表膨胀清理工具撸了一遍
  • vulnhub-unknowndevice64 2靶机
  • 【MySQL】多表联合查询常见练习题
  • Vue3动态导入后端路由
  • 使用 Vue3 和 Axios 实现 CRUD 操作
  • Linux忘记root用户密码怎么重设密码
  • SpringCloud Config配置中心 SpringCloud Bus消息总线
  • SQL基础教程
  • linux系统解压zip文件名乱码
  • vue3项目执行pnpm update后还原package.json文件后运行报错