当前位置: 首页 > article >正文

flink学习(1)——standalone模式的安装

1、上传,解压,重命名,配置环境变量

将文件上传到/opt/modules下

cd /opt/modules
tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/

mv flink-1.13.6/ flink

vi /etc/profile
export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop


记得source /etc/profile

2、修改配置文件( /opt/installs/flink/conf/)

flink-conf.yaml

// 按照下面的进行修改,不存在的添加,存在的修改

jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

// 历史服务器  如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下   hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

 masters

bigdata01:8081

workers

bigdata01
bigdata02
bigdata03

3、上传jar包

——由于我们将flink任务的历史日志文件配置到了hdfs上,所以说,flink需要连接到hdfs

将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

4、分发文件

xsync.sh /opt/installs/flink
xsync.sh /etc/profile

去每一个服务器上刷新配置文件 
source /etc/profile

5、启动

#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start——flink历史日志

        http://bigdata01:8081  -- Flink集群管理界面 当前有效,重启后里面跑的内容就消失了

能够访问8081是因为你的集群启动着呢

        http://bigdata01:8082 -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在

能够访问8082是因为你的历史服务启动着 


http://www.kler.cn/a/408407.html

相关文章:

  • 7、深入剖析PyTorch nn.Module源码
  • 2024年亚太地区数学建模大赛A题-复杂场景下水下图像增强技术的研究
  • Javaweb前端HTML css 整体布局
  • 汇编语言基础
  • AVL树实现
  • 计算机网络(14)ip地址超详解
  • GMAN解读(论文+代码)
  • 【面向对象】Java处理异常的方式
  • STM32抢占优先级不生效
  • 对于相对速度的重新理解 - 插一句
  • MySQL原理简介—10.SQL语句和执行计划
  • 编程中的字节序问题
  • 海信Java后端开发面试题及参考答案
  • 基于python的长津湖评论数据分析与可视化,使用是svm情感分析建模
  • docker 配置代理
  • 如何在 .gitignore 中仅保留特定文件:以忽略文件夹中的所有文件为例
  • hyperf 配置步骤
  • 深入理解CRC:通信可靠性的关键
  • CSS中flex:1是什么属性
  • Milvus实操
  • Adobe Illustrator 2024 安装教程与下载分享
  • docker拉取镜像问题解决
  • 【Linux】gcc/g++使用
  • Python + 深度学习从 0 到 1(00 / 99)
  • 小公司该如何做好项目管理工作
  • 空安全-模块-并发