flink学习(1)——standalone模式的安装
1、上传,解压,重命名,配置环境变量
将文件上传到/opt/modules下
cd /opt/modules
tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
mv flink-1.13.6/ flink
vi /etc/profile
export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
记得source /etc/profile
2、修改配置文件( /opt/installs/flink/conf/)
flink-conf.yaml
// 按照下面的进行修改,不存在的添加,存在的修改
jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true
// 历史服务器 如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下 hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
masters
bigdata01:8081
workers
bigdata01
bigdata02
bigdata03
3、上传jar包
——由于我们将flink任务的历史日志文件配置到了hdfs上,所以说,flink需要连接到hdfs
将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下
4、分发文件
xsync.sh /opt/installs/flink
xsync.sh /etc/profile
去每一个服务器上刷新配置文件
source /etc/profile
5、启动
#启动HDFS
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start——flink历史日志
http://bigdata01:8081 -- Flink集群管理界面 当前有效,重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
http://bigdata01:8082 -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在
能够访问8082是因为你的历史服务启动着