当前位置： 首页 > article >正文

Spark安装

article 2024/10/20 10:26:18

Downloads | Apache Spark

拖动安装包 上传虚拟机

# 解压锁环境就安装好能使用
tar -zxvf spark-3.3.1-bin-hadoop3.tgz

# 修改文件名称
mv spark-3.3.1-bin-hadoop3 spark-local

1.Local模式 

测试案例：计算圆周率π

# Usage: spark-submit [options] <app jar | python file | R file> [app arguments]
# local表示运行环境，其中[4]表示4个线程执行；10表示运行10次
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[4] \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10

2. Yarn 模式

修改模板配置文件spark.env.sh  添加：YARN_CONF_DIR=/usr/local/hadoop-3.1.3/etc/hadoop/

表示Spark运行的资源由Yarn进行调度，前提要先安装好hadoop

下面是hadoop里面的yarn-site配置的服务（注意域名解析配置）

启动hadoop集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10

 


http://www.kler.cn/news/357157.html

相关文章：

  • 桂林旅游攻略：SpringBoot平台全面指南
  • QtCreator14调试Qt5.15出现 Launching Debugger 错误
  • RK平台 GPIO序号转换软件
  • 二叉树算法之B+ 树（B+ Tree）详细解读
  • WPF中Grid、StackPanel、Canvas、WrapPanel的区别
  • Qt中对象间的通信机制
  • LTE 利用FFT 实现PSS的快速相关
  • C# 字符串常用方法
  • 意外断电 导致docker 部署禅道 的mariadb 启动报错
  • freeswitch-esl 实现广播功能
  • PDFView 1.0.2 jar包，github无法依赖下载，所以只能使用jar包进行，
  • HCIE-Datacom题库_08_安全【12道题】
  • 如何在Matlab界面中添加日期选择器？
  • 微服务--Gateway--局部过滤器接口耗时【重要】
  • 机器学习课程学习周报十七
  • VSCode自搭建嵌入式环境的make构建工具选择
  • snmpdelta使用说明
  • 【ELK】初始阶段
  • 【Petri网导论学习笔记】Petri网导论入门学习（五）—— 1.3 库所/变迁系统与加权Petri网
  • Chrome谷歌浏览器加载ActiveX控件之JT2Go控件