当前位置： 首页 > article >正文

3.1 快速启动Flink集群

article 2024/11/4 20:56:34

文章目录

  • 1. 环境配置
  • 2. 本地启动
  • 3. 集群启动
  • 4. 向集群提交作业
    • 4.1 提交作业概述
    • 4.2 添加打包插件
    • 4.3 将项目打包
    • 4.4 在Web UI上提交作业
    • 4.5 命令行提交作业

在本实战中，我们将快速启动Apache Flink 1.13.0集群，并在Hadoop集群环境中提交作业。首先，我们会在本地下载Flink安装包并上传至云主机，解压并配置环境变量。接着，我们将启动Flink集群，通过访问Web UI进行监控管理。然后，我们会配置集群，将Flink分发到从节点，并在集群上提交作业。最后，我们将通过命令行提交作业，并在Web UI上查看任务节点的输出结果。这个过程涵盖了Flink集群的部署、配置和作业提交，为大数据处理提供了一个完整的实战经验。

1. 环境配置

在这里插入图片描述

2. 本地启动

在这里插入图片描述

3. 集群启动

在这里插入图片描述

4. 向集群提交作业

4.1 提交作业概述

在这里插入图片描述

4.2 添加打包插件

在这里插入图片描述

4.3 将项目打包

在这里插入图片描述

4.4 在Web UI上提交作业

在这里插入图片描述

4.5 命令行提交作业

在这里插入图片描述


http://www.kler.cn/a/379192.html

相关文章：

  • 安全性测试
  • 嵌入式开发之文件I/O
  • 每周算法比赛
  • [实战-11] FlinkSql 设置时区对TIMESTAMP和TIMESTAMP_LTZ的影响
  • ArcGIS005:ArcMap常用操作101-150例动图演示
  • copyq禁止访问网络(ubuntu cgroup)
  • 速卖通商品详情API接口，json数据参考（案例）
  • npm入门教程3：npm安装
  • qt QTextEdit详解
  • 005-Kotlin界面开发之程序猿初试Composable
  • LongVU :Meta AI 的解锁长视频理解模型，利用自适应时空压缩技术彻底改变视频理解方式
  • vrrp和mstp，vrrp和byd
  • 无人机避障——使用三维PCD点云生成的2D栅格地图PGM做路径规划
  • LlamaIndex框架学习-提示词的几种使用模式
  • JVM1.8内存模型
  • 力扣每日一题 3165. 不包含相邻元素的子序列的最大和
  • MySQL存储引擎——针对实习面试
  • 海康视频不能在浏览器解析播放，需要转码
  • 链表详解(三)
  • mmpretrainmmdetection环境配置
  • 高并发场景下的性能测试方法！
  • ethers.js 创建钱包，导入助记词，导入私钥）
  • 浅析Android Handler机制实现原理
  • ssm037物流管理系统设计与实现+jsp(论文+源码)_kaic
  • 克服奖励欺骗：Meta发布全新后训练方式CGPO，编程水平直升5%，打破RLHF瓶颈
  • [linux驱动开发--零碎知识]基于linux内核6.11.0