ubuntu系统中使用docker-compose安装部署docker集群（本地）

ubuntu系统中使用docker-compose安装部署docker集群（本地）

部分内容参考：

1.环境说明

ubuntu 22.03
要先执行 #apt update更新系统

apt update

2.安装基础软件

• 安装jdk8

apt install openjdk-8-jdk

• 安装docker

apt install docker.io

• 安装docker compose

apt install docker-compose

3.编写docker-compose的配置文件

在当前目录下写一个docker-compose的配置文件，命名为docker-compose.yaml，内容如下：

version: '3'
services:
  jobmanager:
    image: flink:latest
    container_name: jobmanager
    hostname: jobmanager
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    networks:
      - flink_network

  taskmanager:
    image: flink:latest
    depends_on:
      - jobmanager
    ports:
      - "8082-8084:8081"  # 确保端口范围足够
    command: taskmanager
    scale: 3  # 设置TaskManager的数量为3
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
    networks:
      - flink_network
networks: #注意这里，要跟services配置项目对齐（即平级的意思）
  flink_network:
    driver: bridge

4.启动集群

使用如下命令启动集群：

docker-compose up -d

正常会需要一段时间，因为要下载flink镜像

启动正常后，可使用如下命令查看集群运行状态：

docker-compose ps

可查看到如下的状态：

也可以在网页上查看集群的运行状态，浏览器中输入：http://[服务器ip]:8081/

可以看到，有3个task slot可用，没有在运行的任务（job）

5. 运行示例

接下来，一起来看看如何运行一个实例。
以内置的wordcount示例为例。
需要先进入到JobManager容器中，

docker exec -it jobmanager /bin/bash

使用Flink的run-example命令来运行WordCount示例。命令如下：

  ./bin/flink run -d ./examples/batch/WordCount.jar

运行状态如下：

这里抛出了一个异常，原因是Flink作业在Detached模式下提交时，不能以Collect、Print、PrintToErr或Count等操作符结尾。
当Flink作业以Detached模式提交时，这些操作符会尝试立即输出结果，但Detached模式下作业的执行是异步的，无法立即返回结果。
详情可参见：关于Flink运行模式
所以，我们需要将刚刚这个示例的运行结果输出到一个日志文件即可，运行命令修改如下：

./bin/flink run -d ./examples/batch/WordCount.jar --output ./wordcount_output.log

这样就能正常的运行了，在web页面上也能查看集群的任务状态。
（这里任务已经执行结束了）

这样就已经成功执行了WordCount.jar示例。

• 扩展思考：
  如果需要Flink集群读取某个文件夹中的文件，应该如何修改程序呢？

（思路：构建一个虚拟卷，将要读取的文件放入该虚拟卷，并在docker-compose中为jobmanager配置该虚拟卷的映射）