大数据学习（22）-spark

Spark是一个基于内存计算的大数据并行计算框架，具有快速、易用、通用等特点。它支持多种数据处理模式，包括批处理、迭代算法、交互式查询、流处理等，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。Spark内置了Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX等技术组件，可以高效地处理大规模数据。相比于MapReduce，Spark的中间输出结果可以缓存到内存中，从而不再需要读写HDFS，减少了磁盘数据交互，能够更好地适应机器学习和数据挖掘等需要迭代的算法。

核心概念

1. RDD（弹性分布式数据集）：RDD是Spark的基本计算单元，一组RDD可形成执行的有向无环图（RDD Graph），并且具有“弹性”的特征，既可以在内存优先存储并计算，如果内存不够，再拿磁盘顶上。
2. 执行器（Executor）：在worker节点上启动的进程，负责执行任务。
3. Worker：从节点，负责控制计算节点，启动Executor。
4. Driver：运行Application的main()函数并创建SparkContext（应用程序的入口）。和集群的executor进行交互。
5. SparkContext：整个应用的上下文，控制应用的生命周期。
6. Stage：Spark基本概念总结中的一个阶段，由hdfs block或者hbase regioin数目决定。一个job可以划分为多个stage，stage之间是并行关系。每个stage可以有多个task。
7. ClusterManager：在standalone模式中是Master（主节点），控制整个集群，监控Worker。在YARN模式下是资源管理器。

1. Application：Spark应用程序，是用户提交的Spark任务，包含了应用程序的名称、集群的URL、提交的类名等信息。
2. Application jar：Spark应用程序打包后的jar文件，包含了应用程序的代码和依赖项。
3. Driver program：Spark的驱动程序，负责启动和管理应用程序的执行。在Spark中，每个应用程序都有一个对应的驱动程序。
4. Cluster manager：Spark集群管理器，负责在集群中分配和管理资源。Spark支持多种集群管理器，例如Apache Mesos、YARN和Kubernetes等。
5. Deploy mode：Spark应用程序的部署模式，它决定了应用程序如何在集群中运行。Spark支持三种部署模式：client、cluster和client+cluster。
6. Worker node：Spark集群中的工作节点，它负责运行Spark应用程序中的任务（Task）。
7. Executor：Spark应用程序运行在Executor上，它是一个进程，负责执行任务并管理应用程序的资源。每个Executor都有其自己的JVM和内存空间。
8. Task：Spark任务是工作单元，它负责处理数据集中的一个分片（partition）。每个任务都被调度到一个Executor上执行。
9. Job：Spark作业是一组相关的任务，它们被一起调度和执行。一个作业可以包含多个阶段（Stage）。
10. Stage：Spark阶段是作业的一部分，它包含一组任务（Task）。阶段之间通过shuffle进行划分，每个阶段都会进行一次shuffle操作。

总结来说，Spark应用程序（Application）是用户提交的任务，驱动程序（Driver program）负责启动和管理应用程序的执行，集群管理器（Cluster manager）负责在集群中分配和管理资源，部署模式（Deploy mode）决定了应用程序如何在集群中运行。工作节点（Worker node）是负责运行任务的节点，而Executor进程负责执行任务和管理应用程序的资源。任务（Task）是工作单元，作业（Job）是一组相关的任务，阶段（Stage）则是作业的一部分，包含一组任务。
 

之后会持续更新spark，hive已经学完啦！