当前位置: 首页 > article >正文

Docker多架构镜像构建踩坑记

背景

公司为了做信创项目的亮点,需要将现有的一套在X86上运行的应用系统迁移到ARM服务器上运行,整个项目通过后端Java,前端VUEJS开发通过CICD做成Docker镜像在K8S里面运行。但是当前的CICD产品不支持ARM的镜像构建,于是只能手工构建ARM镜像。以下是一些踩坑的记录,希望能帮大家少踩坑

构建环境

  • 本地电脑 Deepin Linux 23 (Windows的WSL和其他的Linux系统都可以),X86_64架构
  • Docker镜像的本地代理,使用v2ray启的socks5://10.32.4.150:10808
  • 自建的Harbor仓库,地址: harbor.wldc.site

目标

通过本地制作一个双架构的应用运行基础镜像,并推送到harbor仓库中

步骤

  1. 在本地电脑上安装docker-ce,我是Deepin的系统可以直接运行以下命令安装,其它的系统安装方式,大家百度以下。
sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list
#提示: 如果 $(lsb_release -cs) 返回的不是 buster 或 bullseye,可以手动替换为 buster 或 bullseye,这里我是替换了的
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian bullseye stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker

  1. 配置docker,由于国内的环境,docker的使用目前非常的不友好,就是这个代理就踩了非常多的坑,还有就是https,http,证书受信等各种坑,都踩过了。这里一次性把docker的配置都贴了,也不知道是那个配置文件解决的问题。为了避免浪费时间,建议大家抄配置。
    /etc/docker/daemon.json
#以下文件10.32.4.150是本地电脑的IP地址,运行的socks5代理
{
  "insecure-registries": ["10.159.16.19","harbor.wldc.site"],
  "proxies": {
    "http-proxy": "socks5://10.32.4.150:10808",
    "https-proxy": "socks5://10.32.4.150:10808",
    "no-proxy": "11.0.0.0/8,10.0.0.0/8,.example.org,127.0.0.0/8,.cn-southwest-2.myhuaweicloud.com,10.159.16.19,.wldc.site"
  }}

/etc/systemd/system/docker.service.d/http-proxy.conf

[Service]
Environment="HTTP_PROXY=socks5://10.32.4.150:10808"
Environment="HTTPS_PROXY=socks5://10.32.4.150:10808"
Environment="NO_PROXY=localhost,127.0.0.1,.wldc.site"

~/.docker/config.json

{
      "auths": {
              "harbor.wldc.site": {
                      "auth": "YWRtaW46TUxYWFVSS1lncVdrdjdrbQ=="
              },
              "https://index.docker.io/v1/": {
                      "auth": "a2V2aW5ua********A2MzkxOQ=="
              }
      },
"proxies": {
  "default": {
    "httpProxy": "http://10.32.4.150:10808",
    "httpsProxy": "http://10.32.4.150:10808",
    "noProxy": "localhost,127.0.0.1,.wldc.site"
  }
}
}

上面3个文件配置完成以后,重启docker服务

systemctl daemon-reload && systemctl restart docker
  1. 创建docker的多架构builder,默认的builder只支持和宿主机一样的架构镜像,高版本的docker(>=19)默认也安装了buildx的插件。
#创建命令
docker buildx create --use --bootstrap --name multiarch \
  --platform linux/amd64,linux/arm64 \
  --buildkitd-flags '--allow-insecure-entitlement network.host' \
  --buildkitd-config ./buildkitd.toml \
  --driver docker-container \
  --driver-opt image=buildkit:buildx-stable-2 \
  --driver-opt env.HTTP_PROXY=socks5://10.32.4.150:10808 \
  --driver-opt env.HTTPS_PROXY=socks5://10.32.4.150:10808 \
  --driver-opt env.NO_PROXY=.wldc.site \
  --driver-opt env.http_proxy=socks5://10.32.4.150:10808 \
  --driver-opt env.https_proxy=socks5://10.32.4.150:10808 \
  --driver-opt env.no_proxy=.wldc.site 

以上的命令说明:

* --buildkitd-flags,这个参数影响非https的harbor的镜像推送
* --buildkitd-config ,这个参数是多架构构建builder的配置文件,详细的配置可以参考https://github.com/moby/buildkit/blob/master/docs/buildkitd.toml.md ,我就配置了一个镜像仓库非https,不然推送镜像的时候要报错
* --driver ,这个参数和后面的--driver-opt联合,主要是解决镜像代理拉去以及非https的问题
* --driver-opt image=buildkit:buildx-stable-2 ,这个是使用的builder的镜像,这个参数如果不添加,默认使用的moby/buildkit:buildx-stable-1,并且从dockerhub上面去拉。如果本地网络不通,就拉不了镜像,或者要做定制化,就手动本地打包一下镜像。

buildkitd.toml 文件内容

insecure-entitlements = [ "harbor.wldc.site", "10.159.16.19" ]
[registry."harbor.wldc.site"]
  http = true
  insecure = true
  1. 确认多架构的builder运行成功
#命令 docker buildx ls
NAME/NODE        DRIVER/ENDPOINT                   STATUS    BUILDKIT   PLATFORMS
multiarch*       docker-container                                       
 \_ multiarch0    \_ unix:///var/run/docker.sock   running   v0.18.1    linux/amd64*, linux/arm64*, linux/amd64/v2, linux/amd64/v3, linux/386
default          docker                                                 
 \_ default       \_ default                       running   v0.16.0    linux/amd64, linux/amd64/v2, linux/amd64/v3, linux/386
  1. 通过Dockerfile构建多架构镜像,并推送到自建的harbor里面
export BUILDKIT_NO_CLIENT_TOKEN=1 #这个必须要运行,不然builder会去连接docker的auth服务,这个坑花了我很多时间。最后在这里找到了:https://forums.docker.com/t/docker-build-fails-while-docker-pull-works-as-expected/144116/5
docker buildx build  --platform=linux/amd64,linux/arm64  \
--network host \
--add-host harbor.wldc.site:10.159.16.19 \
--build-arg HTTP_PROXY=socks5://10.32.4.150:10808  \
--build-arg HTTPS_PROXY=socks5://10.32.4.150:10808  \
--build-arg NO_PROXY=localhost,127.0.0.1,.wldc.site  \
--build-arg http_proxy=socks5://10.32.4.150:10808  \
--build-arg https_proxy=socks5://10.32.4.150:10808  \
--build-arg no_proxy=localhost,127.0.0.1,.wldc.site  \
--push  -t harbor.wldc.site/base/openeuler:22.03-lts-sp4 .

画重点
如果harbor是用的域名访问,需要把这个域名写入到运行的builder的容器里面,宿主机配置了host不管用,–add-host 参数也不管用,如果大家发现了有其它的方法请留言给我,谢谢。以下是部署

root@KevinLiu-PC:/tmp# docker ps
CONTAINER ID   IMAGE                      COMMAND                   CREATED             STATUS             PORTS     NAMES
9b774b15a81f   buildkit:buildx-stable-2   "buildkitd --config …"   About an hour ago   Up About an hour             buildx_buildkit_multiarch0
root@KevinLiu-PC:/tmp# docker exec -it  9b774b15a81f sh
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      9b774b15a81f
10.159.16.19 harbor.wldc.site
/ # 
  1. 登录harbor检测推送的多架构的镜像
    在这里插入图片描述

总结

在多架构构建的过程中遇到了很多问题,都于网络有关,目前国内的情况就是这样,没有办法。同时多架构的镜像构建,对于Dockerfile也有要求,针对Java这种语言,已经有JVM做了跨平台,编译出来的制品可以直接跨平台;但是如果是golang的应用,在编译和Dockerfile的时候都要独立处理。比如如下的Dockerfile,最后希望大家少踩坑。

# 第一步:构建阶段,在构建的时候buildx会同时拉两种架构的镜像
FROM  golang:1.18-alpine AS builder
# 设置环境变量
ENV CGO_ENABLED=0 \
    GOOS=linux \
    GO111MODULE=on
# 声明用于判断架构的参数
ARG TARGETARCH
# 工作目录
WORKDIR /app
# 拷贝源代码
COPY . .
# 下载依赖
RUN go mod tidy
# 针对不同架构执行操作,如果有特殊处理,可以在这个判断里面事项。当然如果Dockerfile具有通用性,可以不做判断
RUN if [ "$TARGETARCH" = "amd64" ]; then \
      echo "Building for amd64..."; \
    elif [ "$TARGETARCH" = "arm64" ]; then \
      echo "Building for arm64..."; \
    fi

# 构建应用,不同的镜像打出来的二进制文件不一样
go build -o main .
# 第二步:运行阶段
FROM alpine:latest
# 安装时区数据和证书
RUN apk add --no-cache ca-certificates tzdata
# 设置工作目录
WORKDIR /root/
# 从构建阶段复制可执行文件
COPY --from=builder /app/main .
# 暴露端口(可选)
EXPOSE 8080
# 启动容器
CMD ["./main"]
#构建命令示例
docker buildx build --platform linux/amd64,linux/arm64 -t harbor.wldc.site/dev/demo:v1.0.0 -f Dockerfile .

http://www.kler.cn/a/430638.html

相关文章:

  • 【高级篇 / IPv6】(7.2) ❀ 05. 在60E上配置ADSL拨号宽带上网(IPv6) ❀ FortiGate 防火墙
  • 10.8 LangChain Output Parsers终极指南:从JSON解析到流式处理的规范化输出实践
  • [论文学习]Adaptively Perturbed Mirror Descent for Learning in Games
  • 2 [GitHub遭遇严重供应链投毒攻击]
  • 当WebGIS遇到智慧文旅-以长沙市不绕路旅游攻略为例
  • C# 结构体介绍
  • AI Weekly『12月2-8日』:OpenAI发布发布满血版o1,Meta发布Llama 3.3模型!
  • 将yolo系列中的类别转为字典或者list
  • MongoDB靶场(手工注入)攻略
  • UART串口通讯---STM32
  • 初次使用uniapp编译到微信小程序编辑器页面空白,真机预览有内容
  • 2024.12.10总结
  • zsh配置
  • Word中的公式域
  • SQL项目实战与综合应用——项目设计与需求分析
  • 鸿蒙面试---1208
  • Muduo网络库解析---事件循环模块
  • Java 基础之 XQuery:强大的 XML 查询语言
  • 【C++指南】类和对象(七):友元
  • html小白初学
  • go语言zero框架对接阿里云消息队列MQ的rabbit的配置与调用
  • Java项目--仿RabbitMQ的消息队列--需求分析
  • PVE修改IP地址
  • 基于 SSM 的个性化商铺系统:先进架构保障系统稳定性
  • el-table手动触发懒加载
  • 【优选算法】哈希表