使用docker build自制flink镜像供k8s使用
1、创建一个空目录专门用于自制docker镜像
mkdir -p /opt/module/flink-docker2、将符合项目要求的本地flink拷贝到目录
cp -r /opt/module/flink-1.16.3 /opt/module/flink-docker
cd /opt/module/flink-docker
mv flink-1.16.3 flink3、编写Dockerfile文件
FROM m.daocloud.io/docker.io/library/openjdk:8-jre #基于openjdk:8-jre镜像
#设置环境变量
#本地准备好的flink软件目录,用于拷贝到镜像内部
ENV FLINK_DIR=flink/
#镜像中存放flink的Home目录
ENV FLINK_HOME=/opt/flink
#拷贝本地的文件到镜像指定地方
COPY gosu-amd64 /usr/local/bin/gosu
COPY gosu-amd64.asc /usr/local/bin/gosu.asc
#替换镜像中的镜像源
RUN sed -i 's/archive.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list && \
sed -i 's/security.ubuntu.com/mirrors.aliyun.com/g' /etc/apt/sources.list
#拷贝本地的文件到镜像指定地方
COPY gettext-base_0.21-4_amd64.deb /gettext-base_0.21-4_amd64.deb
COPY libjemalloc-dev_5.2.1-3_amd64.deb /libjemalloc-dev_5.2.1-3_amd64.deb
# 在镜像内部运行下面的命令
RUN apt-get -y install dpkg; \
dpkg -i /gettext-base_0.21-4_amd64.deb; \
dpkg -i /libjemalloc-dev_5.2.1-3_amd64.deb; \
apt-get -y install gettext-base libjemalloc-dev; \
rm -rf /gettext-base_0.21-4_amd64.deb /libjemalloc-dev_5.2.1-3_amd64.deb; \
rm -rf /var/lib/apt/lists/*
# 设置环境变量
ENV GOSU_VERSION 1.11
# 在镜像内部运行下面的命令
RUN gpg --batch --verify /usr/local/bin/gosu.asc /usr/local/bin/gosu; \
gpgconf --kill all; \
rm -rf "$GNUPGHOME" /usr/local/bin/gosu.asc; \
chmod +x /usr/local/bin/gosu; \
gosu nobody true
# 设置环境变量
ENV FLINK_HOME=/opt/flink
ENV PATH=$FLINK_HOME/bin:$PATH
# 在镜像内部运行下面的命令
RUN groupadd --system --gid=9999 flink && \
useradd --system --home-dir $FLINK_HOME --uid=9999 --gid=flink flink
# 设置工作目录
WORKDIR $FLINK_HOME
# 拷贝本地flink到镜像内部
COPY $FLINK_DIR $FLINK_HOME
# 在镜像内部执行下面的命令
RUN set -ex; \
chown -R flink:flink .; \
chmod -R 775 .; \
# Replace default REST/RPC endpoint bind address to use the container's network interface \
sed -i 's/rest.address: localhost/rest.address: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
sed -i 's/rest.bind-address: localhost/rest.bind-address: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
sed -i 's/jobmanager.bind-host: localhost/jobmanager.bind-host: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
sed -i 's/taskmanager.bind-host: localhost/taskmanager.bind-host: 0.0.0.0/g' $FLINK_HOME/conf/flink-conf.yaml; \
sed -i '/taskmanager.host: localhost/d' $FLINK_HOME/conf/flink-conf.yaml;
# 在镜像内部执行下面的命令
RUN rm -rf $FLINK_DIR
# 拷贝文件到镜像根目录
COPY docker-entrypoint.sh /
# 在镜像内部执行下面的命令
RUN chmod +x /docker-entrypoint.sh
# 为容器指定默认执行的命令，容器启动时的默认行为
ENTRYPOINT ["/docker-entrypoint.sh"]
# 于声明容器运行时对外提供服务的端口
EXPOSE 6123 8081
# 镜像被启动后Docker容器默认执行的命令
CMD ["help"]
4、将Dockerfile中依赖的文件下载到本地
上文中用到的docker-entrypoint.sh、gettext-base_0.21-4_amd64.deb、gosu-amd64、gosu-amd64.asc和libjemalloc-dev_5.2.1-3_amd64.deb文件先下载到本地
Dockfile及docker-entrypoint.sh可以参考
flink-docker/1.18/scala_2.12-java8-ubuntu at master · apache/flink-docker · GitHub
5、构建镜像包
docker build --no-cache -t flink:1.16.3 ./6、打标签,目的是为了推送到Harbor
docker tag flink:1.16.3 harbor的ip:harbor的端口/flink/flink:1.16.3
docker push harbor的ip:harbor的端口/flink/flink:1.16.37、使用k8s部署
参考flink官方创建所需的yaml文件，或者下载文末百度网盘中的文件(使用的namespace为flink)
Kubernetes 设置 | Apache Flink
# 进入k8s部署文件yaml所在目录
cd /opt/session-mode
# 部署
kubectl apply -f .flink-docker.tgz
链接：https://pan.baidu.com/s/1ItGu2Sh3nigtwvRAeGGUHQ?pwd=5qj0
提取码：5qj0
session-mode.zip
链接：https://pan.baidu.com/s/1aKtBuV8NtoHKFCaPn1Zi5w?pwd=l9k1
提取码：l9k1
参考：
https://www.cnblogs.com/chouc/p/17330527.html
GitHub - apache/flink-docker: Docker packaging for Apache Flink