芝法酱学习笔记（0.7）——harbor与项目容器化部署

前言

之前我们主要讲的jar包部署。使用jar包部署可能导致不同服务互相争抢资源（隔离性），不同服务可能需要不同的jdk环境，有时也会造成困扰。故在微服务时代，我们通常使用docker部署

一、docker安装

docke相关的知识，其实之前文章也写过，本节主要讲harbor的安装以及与jenkins配合，做容器化部署。故docker相关的讨论会尽可能简略。

1.1 docker安装

安装官方文档的介绍安装即可

1.2 docker-compose安装

docker-compose相关内容，之前文章也写过，故知识点本次略过。

sudo apt-get update
sudo apt-get install docker-compose-plugin
curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

二、harbor安装

2.1 下载解压

首先，去官网下载离线包，然后拷到/WORK/DOWNLOADS文件夹内
使用以下命令解压：

tar -xzf harbor-offline-installer-v2.9.1.tgz

2.2 nginx配置证书

由于harbor更倾向于用https，所以需要配置nginx的证书

openssl genrsa -out /WORK/APP/nginx/cert/nginx-selfsigned.key 2048 
openssl req -new -key /WORK/APP/nginx/cert/nginx-selfsigned.key -ou
t /WORK/APP/nginx/cert/nginx-selfsigned.csr
openssl x509 -req -days 3650 -in /WORK/APP/nginx/cert/nginx-selfsigned.csr -signkey /WORK/APP/nginx/cert/nginx-selfsigned.key -out /WORK/APP/nginx/cert/nginx-selfsigned.crt -subj "/CN=192.168.0.64"

然后把location部分的配置，单独拎一个文件出来，比如叫shared.conf
分别在http和https的server模块include进来

include /WORK/APP/nginx/conf/shared.conf;

即可完成https的配置。

2.3 harbor配置

编辑harbor.yml，重点编辑以下内容

http:
  # 把端口设置成9090
  port: 9090
# 你没看错，这些先注释掉
#https:
  # https port for harbor, default is 443
  #port: 443
  # The path of cert and key files for nginx
  #certificate: /WORK/APP/nginx/cert/nginx-selfsigned.crt
  #private_key: /WORK/APP/nginx/cert/nginx-selfsigned.key

./prepare
./install

这样harbor就装好了。稍微解释一下，./prepare脚本，就是根据harbor.yml的配置，在当前目录生成相应的配置文件。而install命令，则是创建启动镜像。

2.3.1 安装番外

我尝试了把harbor放在nginx后面，最后还是失败了。
因为harbor的前端访问路径貌似无法配置，这就导致静态资源的加载全部出错。有哪位大佬知道怎么搞的可以私信或评论区回复。

三、docker化项目

3.1 创建一个dockerfile

我们接着之前的项目继续开发。之前的项目已经完成了lib，resource，config等与jar包的分离，并且以shell脚本启动项目，而非直接java -jar，我们的容器化也要支持这些功能（自讨苦吃式学习）。dockerfile创建如下所示

FROM openjdk:17-jdk-slim

ENV PORT="8081"

RUN mkdir -p /app
WORKDIR /app
EXPOSE 8081
ADD ./target/nbr.jar nbr.jar
ADD ./target/bin bin
RUN chmod +x bin/startup.sh
RUN chmod +x bin/shutdown.sh
VOLUME ["/app/config","/app/resources","/app/logs","/app/lib"]
WORKDIR "/app/bin"
CMD ./startup.sh -p $PORT

需要注意的是，VOLUME 字段表示容器卷，docker中先声明，docker run时再映射到宿主机上。如果这里不声明，docker run -v 的时候就不好用了。

3.2 新的jenkins脚本

很多人搞容器化的时候，喜欢使用docker的maven插件来实现。然而实际上，并没有这种必要。学习成本又高，还有很多限制，也不好调试。不如直接在jenkins里写命令实现。变量向dockerfile传递，可以用–env var_key=var_value来实现。

import java.text.SimpleDateFormat

node{

    def remote = [:]
    remote.name = '地下室主机'
    remote.host = '192.168.0.64'
    remote.user = 'root'
    remote.password = '???@1314'
    remote.deploymentHome = "/WORK/APP/study2024-class006"
    remote.allowAnyHosts = true
    remote.harbor = "localhost:9090"

    def app = [:]
    app.codePath = "busy"
    app.name = "study2024-class006"
    app.module = "nbr"
    app.version = "${version}"
    app.cd = "${appName}"
    app.port = "${port}"

    def timestamp = currentBuild.getTimeInMillis()
    def formattedTimestamp = new SimpleDateFormat("yyyy-MM-dd-HH_mm_ss").format(timestamp)


    stage("拉取代码"){
        git branch: "${gitTag}", credentialsId: 'gitSec', url: 'https://gitee.com/hataksumo/study2024-class006.git'
    }


    if(isCompileImage == "true"){
        stage("编译代码"){
            sh """
                cd busy
                mvn clean
                mvn package -pl ${app.module} -am -P${profile} -Dmaven.test.skip=true
            """
        }


        stage("创建镜像"){
            sh """
                cd ${app.codePath}/${app.module}
                docker build -f docker/Dockerfile \
                --build-arg PORT=${app.port} \
                -t ${app.name}-${app.module}:${app.version} .
                docker tag ${app.name}-${app.module}:${app.version} ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker login localhost:9090 -u admin -p Harbor12345
                docker push ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker logout ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker image rm -f ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
                docker image rm -f ${app.name}-${app.module}:${app.version}
            """
        }
    }

    stage("拷贝资源"){
        echo "拷贝创建"

        sshCommand remote: remote, failOnError:false, command: """
            [ -d ${remote.deploymentHome}/${app.cd}] || mkdir -p ${remote.deploymentHome}/${app.cd}
            cd ${remote.deploymentHome}/${app.cd}
            [ -d lib] || mkdir -p lib
            [ -d config] || mkdir -p config
            [ -d resources/static] || mkdir -p resources/static
            [ -d resources/templates] || mkdir -p resources/templates
            [ -d resources/mybatis] || mkdir -p resources/mybatis
        """

        if(isUpdateConfig == "true"){
            echo "删除config"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/config"
            echo "拷贝lib包"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/config", into: "${remote.deploymentHome}/${app.cd}"
        }

        if(isUpdateLib == "true"){
            echo "删除lib包"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/lib"
            echo "拷贝lib包"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/lib", into: "${remote.deploymentHome}/${app.cd}"
        }

        sshCommand remote: remote, failOnError:false, command: "mkdir ${remote.deploymentHome}/${app.cd}/resources"

        if(isUpdateStatic == "true"){
            echo "清除resources/static文件"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/resources/static"
            echo "拷贝static文件"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/resources/static", into: "${remote.deploymentHome}/${app.cd}/resources"
        }

        if(isUpdateMapper == "true"){
            echo "清除resources/mybatis文件"
            sshRemove remote: remote, failOnError:false, path: "${remote.deploymentHome}/${app.cd}/resources/mybatis"
            echo "拷贝mybatis文件"
            sshPut remote: remote, from: "${app.codePath}/${app.module}/target/resources/mybatis", into: "${remote.deploymentHome}/${app.cd}/resources"
        }
    }

    stage("镜像拉取"){
        //docker stop ${app.name}-${app.module}-${appName}
        //此处是不优雅的关闭
        sshCommand remote: remote, failOnError:false, command: """
        docker image rm -f ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker container rm -f ${app.name}-${app.module}-${appName}
        docker login localhost:9090 -u admin -p Harbor12345
        docker pull ${remote.harbor}/library/${app.name}-${app.module}:${app.version}
        docker tag ${remote.harbor}/library/${app.name}-${app.module}:${app.version} ${app.name}-${app.module}:${app.version}
        docker logout
        echo "docker run -it -p ${app.port}:${app.port} --volume ${remote.deploymentHome}/${app.cd}/config:/app/config --volume ${remote.deploymentHome}/${app.cd}/resources:/app/resources --volume ${remote.deploymentHome}/${app.cd}/logs:/app/logs --volume ${remote.deploymentHome}/${app.cd}/lib:/app/lib --env PORT=${app.port} ${app.name}-${app.module}:${app.version} bin/bash"

        docker run -d \
        -p ${app.port}:${app.port} \
        --volume ${remote.deploymentHome}/${app.cd}/config:/app/config \
        --volume ${remote.deploymentHome}/${app.cd}/resources:/app/resources \
        --volume ${remote.deploymentHome}/${app.cd}/logs:/app/logs \
        --volume ${remote.deploymentHome}/${app.cd}/lib:/app/lib \
        --env PORT=${app.port} \
        --name ${app.name}-${app.module}-${appName} \
        ${app.name}-${app.module}:${app.version}
        echo "容器启动完成"
        lsof -i:${app.port}
        """
    }

}

3.3 错误处理

3.3.1 调试容器

如果项目启动不成功，可以使用docker run -it <镜像名> /bin/bash 进入容器调试

3.3.2 脚本启动的坑

docker的机制，如果执行的脚本没有阻塞，就会退出容器。所以需要在脚本的最后添加这样一句

tail -f "${BASE_DIR}/logs/start.out"

3.3.3 注意运行在容器内

无论是mysql还是redis等中间件的链接，记得不要配localhost，配成内网ip

四、代码展示

还请众道友移步我的码云