【Linux 从基础到进阶】Spark 大数据计算引擎使用
Spark 大数据计算引擎使用
Apache Spark 是一个快速、通用的大数据处理引擎，专为大规模数据处理而设计。与 Hadoop 的 MapReduce 相比，Spark 提供了更快的计算速度，并支持多种数据处理方式，包括批处理、流处理、图计算、机器学习等。
本文将介绍 Spark 大数据计算引擎的使用方法，包含 Spark 的安装、基本组件介绍、常用操作以及性能优化策略。
1. Spark 基本概念
Spark 是基于内存计算的分布式计算框架，其核心组件包括：
- Spark Core： 提供基本的分布式任务调度和内存管理。
- Spark SQL： 允许通过 SQL 查询数据，支持结构化和半结构化数据。
- Spark Streaming： 用于流式数据处理，适用于实时计算场景。
- MLlib： 提供常用的机器学习算法。
- GraphX： 用于图计算，支持图数据的存储和操作。
1.1 Spark 的工作原理
Spark 的基本运行模式为分布式模式，主节点称为 Driver，负责将任务分发到各个工作节点（Executors）。Driver 程序生成 RDD（Resilient Distributed Dataset），并将 RDD 的计算任务分发给 Executors。通过 DAG（Directed Acyclic Graph） 优化执行顺序，确保高效利用资源。
1.2 RDD（弹性分布式数据集）
RDD 是 Spark 中的核心抽象，它是一个只读的分布式对象集合。RDD 提供了两种操作方式：
- 转换操作（Transformations）： 如
map()、filter()、flatMap()等，会生成新的 RDD。 - 行动操作（Actions）： 如
reduce()、collect()、count()等，触发计算并返回结果。
2. Spark 的安装与配置
2.1 前提条件
在安装 Spark 之前，需要确保以下环境条件：
- 操作系统： CentOS 7/8 或 Ubuntu 18.04 及以上版本。
- Java: 安装 Java 8 或更高版本。
- Scala: Spark 基于 Scala 开发，因此建议安装 Scala。
- Hadoop: Spark 可以运行在独立模式下，也可以与 Hadoop 一起使用。
CentOS 安装依赖
sudo yum install java-1.8.0-openjdk scala
Ubuntu 安装依赖
sudo apt update
sudo apt install openjdk-8-jdk scala
2.2 下载与安装 Spark
从 Spark 官方网站下载二进制发行包：
wget https://downloads.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz
解压并移动至指定目录：