培训第三十九天(了解docker-compose,docker-compose编排容器,配置harbor服务)
一、回顾
1、拉取私有仓库镜像
# 配置docker docker pull 10.0.0.10:5000/centosnginx:v0
2、容器网络类型
brideg(net) default # docker启动之后会生成新的虚拟网卡,网卡的名称docker0 # 网段默认是172.17.0.1 # 所有的容器都桥接docker0,通过桥接共享网络 brctrl show yum -y install bridge-utils host # 使用方便,直接使用宿主机的ip # 无法并发运行多个同类的容器 docker run -it --network bridge|host|none centos:latest /bin/bash none
3、跨主机容器网络(两台不同主机上的容器的连接)
# A主机上的a1容器可以访问B主机上的b1容器 # flanneld技术 # 使用flanneld分配网段,被分配的网段都可以ping通 # 步骤 node11 docker etcd(数据库,被flanneld保存网络地址网段等信息) yum -y install etcd # 1、配置文件 /etc/etcd/etcd.conf # 修改了发布服务的端口和介绍请求的端口4001,2379 ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379,http://0.0.0.0:4001" ETCD_ADVERTISE_CLIENT_URLS="http://10.0.0.11:2379,http://10.0.0.11:4001" # 2、启动服务 systemctl start etcd # 3、测试服务 netstat -lntup | grep 2379 netstat -lntup | grep 4001 etcdctl set a 123 etcdctl get a # 4、检查安全 etcdctl -C http://10.0.0.10:4001 cluster-health flanneld yum -y install flanneld # 5、配置连接数据库 vim /etc/sysconfig/flanneld FLANNEL_ETCD_ENDPOINTS="http://10.0.0.11:2379" # 在启动之前要在etcd数据库中添加指定网段 172.20.0.0/16 etcdctl mk /atomic.io/network/config '{ "Network" : "172.20.0.0/16" }' # 6、启动服务,在启动flanneld服务的时候,会先读取etcd中的network信息,确定要创建的网段 systemctl start flanneld # 7、查看分配的网段 ifconfig|ip a s查看新的flannel0网卡 # 8、如果不配置docker的daemon.json文件,那么默认docker容器的IP地址是172.17.0.1,需要修改daemon.json并且重启docker服务,让docker0这个网卡的网段和flannel0网卡的网段一致 cat /run/flannld/subnet.env vim /etc/docker/daemon.json { ..., "bip" : "172.20.x.x", "mtu" : 1472 } # 9、重启docker服务,查看docker0的网段 systemctl restart docker ifconfig docker0 node22 # 1、安装docker # 2、安装flanneld yum -y install flanneld # 3、配置/etc/sysconfig/flanneld,从node11中的etcd数据库中读取网络信息 # 4、启动flanneld # 5、ip a s flannel0 分配了一个新的网段 # 6、修改node22下面的daemon 添加两个key bip mtu # 7、重启docker服务 # 8、docker0的ip地址和flannel0的ip地址保持一致
二、使用docker-compose编排容器
Docker Compose 是一个用于定义和运行多容器 Docker 应用程序的工具。
1、Docker-compose 定义
1)docker compose 是 docker 官⽅的开源项⽬,负责实现对 docker 容器集群的快速编排(容器,依赖,⽹络,挂载。。)
2)compose 是 docker 公司推出的⼀个⼯具软件,可以管理多个 docker 容器组成的应⽤
3) 需要定义⼀个 YAML 格式的配置⽂件 docker-compose.yml,写 好多个容器之间的调⽤关系
4)使⽤ compose 的步骤
使⽤ Dockerfile 定义各个微服务应⽤并构建出对应的镜像⽂件Dockerfile 的使⽤,以便可以在任何地⽅复制。
使⽤ docker-compose.yml 定义⼀个完整的业务单元,安排好整体应⽤中的各个容器服务。
最后,执⾏ docker-compose up 命令来启动并运⾏整个应⽤程序,完成⼀键部署。
2、Docker-compose 产⽣背景
1)使⽤ Dockerfile 定义镜像⽂件,再⼿动构建、运⾏容器等操作,⽽微服务架构⼀般包含若⼲个微服务,且每个微服务⼀般都会部署多个实例,所以,若每个微服务都需要⼿动启停,那么维护量会⾮常庞⼤,并且⼯作效率也会很低。
2)⽽ compose 是⽤于定义和运⾏多容器 docker 应⽤程序的⼯具。通过 compose,可以使⽤ YML ⽂件来配置应⽤程序需要的所有服务。
3)仅需使⽤⼀个命令,就可以从 YML ⽂件配置中创建并启动所有 服务。
4)Compose 可以基于 Compose ⽂件帮我们快速的部署分布式应 ⽤,⽆需⼿动⼀个个创建和运⾏容器。
5)Compose ⽂件是⼀个⽂本⽂件,通过指令定义集群中的每个容 器如何运⾏。
3、Docker-compose 核⼼概念
Docker-compose 将管理的容器分为三层:⼯程(project)、 服务(service)、容器(container)
1、⼯程:运⾏ compose 的⽬录下所有的⽂件,包括 docker-compose.yml、extends ⽂件、环境变量⽂件等组成⼀个⼯程, 若⽆特殊指定⼯程,⼯程名即为当前⽬录名。⼯程的默认配置⽂件为 docker-compose.yml,可通过环境变量 COMPOSE_FILE 或 -f 参数⾃定义配置⽂件,其定义了多个有依赖关系的服务及每个服务运⾏的容器。
2、 服务:⼀个⼯程中包含多个服务,每个服务中定义了容器运⾏的 镜像、参数、依赖等。⼀个服务中可包括多个容器实例。
3、容器:被 docker-compose 管理或部署的容器集群,调⽤ docker 服务提供的 API 来对容器进⾏管理,只要操作的平台⽀持 docker API,即可在其上进⾏ compose 的容器编排。
4、YAML ⽂件的格式和语法
1)YAML ⽂件格式
yaml 是⼀种标记语⾔很直观的数据序列化格式,可读性很⾼。 类似于 xml 描述性语⾔,语法⽐xml简单的很多。
yaml 数据结构通过缩进进⾏表示,连续的项⽬通过减号来表示,键值对⽤冒号分隔,数组⽤中括号括起来,hash⽤花括号括起来。
yaml ⽂件的基本格式由⼀系列键值对构成。每个键值对都⽤冒号“: ”分隔
key: value
在 yaml 中,键和值之间只需要⼀个空格,这是为了保证 yaml ⽂件的可读性和⼀致性
对于字符串值,可以使⽤单引号或者双引号将其括起来,这样可以避免出现特殊字符或空格等问题
name: 'Meng Mr' age: "34"
如果值包含特殊字符(如冒号或短横线),则应该使⽤引号将其括起来
description: "This is a YAML file: good for configuation files."
2)YAML 注意事项
不⽀持制表符 tab 键缩进,需要使⽤空格缩进。
通常开头缩进 2 个空格。
字符后缩进 1 个空格,如:冒号,逗号,横杠。
⽤ # 表示注释。
如果包含特殊字符⽤单引号引起来。
布尔值(true、false、yes、no、on、off)必须使⽤“”引号括起来,这样分析器会将它们解释为字符串。
3)列表和数组
在yaml中,可以使⽤“-”符号表示⼀个列表和数组
fruits: # fruits是⼀个键,它对应⼀个列表,包含三个元素:apple、banana、orange - apple # fruits为⼀个⼤项,下⾯的⼩项只需要缩进⼏个 空格,与其他项⽬对⻬即可 - banana - orange
4)嵌套数据结构
yaml⽀持嵌套数据结构,可以⽤缩进来表示不同层级之间的关系, 可使⽤ # 号表示注释信息。
person: name: 'Meng Mr' # 两个空格,name和age是person的⼀级⼦节点 age: "34" address: # address是person的⼆级⼦节点 street: '123 Main St' # address节点包含了street、city、state和zip四个⼀级⼦节点 city: 'Anytown' state: 'CA' zip: '12345'
5)Docker-compose 安装
使用pip工具-------安装docker-compose
pip是python的包管理工具,和yum是redhat的关系是一样的
# 由于要使用python环境运行docker-compose,所以需要验证python [root@docker1 ~]# python --version Python 2.7.5 [root@docker1 ~]# pip -bash: pip: 未找到命令 # 安装pip,python的包管理工具(需要使用pip下载安装docker-compose) [root@docker1 ~]# yum -y install python2-pip # 查看所有已经安装过的python第三方库,发现pip版本太低 [root@docker1 ~]# pip list pip (8.1.2) # 升级pip版本 [root@docker1 ~]# pip install --upgrade pip 安装失败 [root@docker1 ~]# pip install --upgrade pip==20.3 -i https://mirrors.aliyun.com/pypi/simple Successfully installed pip-20.3 [root@docker1 ~]# pip list pip 20.3 # 使用pip安装docker-compose [root@docker1 ~]# pip install docker-compose --ignore-installed requests -i https://mirrors.aliyun.com/pypi/simple [root@docker1 ~]# pip list docker-compose 1.26.2 # 配置docker [root@docker1 ~]# sh docker.sh [root@docker1 ~]# docker --version Docker version 26.1.4, build 5650f9b
6)docker-compose 命令解析
1、⽂件内常⽤指令字段
(1)version
指定了Docker compose编排⽂件的版本 Docker Compose ⽬前有三个版本,分别为 Version1、 Version2和Version3。
Version1 是较早的版本,它将来会被弃⽤。
Version2 是⽬前的稳定版本,⽀持更多的指令。
Version3 在功能上与 Version2 类似,但进⾏了⼀些改进和 扩展,例如增加了对 Docker BuildKit 的⽀持,可以加速构建过程。
version:'3'
(2)service
指定了在 docker compose 编排中要运⾏的服务,每个服务都有⼀ 个名称,并指定要使⽤的镜像和容器的配置选项。
services: mysql: #服务名 # 再往下可以对该服务进⾏定义,⽐如指定映射端⼝,指定使⽤的镜像等,但要注意缩进格式。
(3)image
指定要使用的docker镜像
services: mysql: # 服务名 image: mysql:5.5 # 指定mysql镜像,如果主机内不存在该镜像,会从登录的docker镜像仓库内拉取,⼀般都是从dockerhub上拉取
(4)build
允许在 docker compose 编排中指定 dockerfile 的位置。
services: mysql: # 服务名 build: /docker/mysql # 这⾥为⽤户微服务⽂件夹,⾥⾯存放的是该服务代码jar包和Dockerfile⽂件
(5)environment
指定了要设置的环境变量。
services: mysql: # 服务名 environment: # 下⾯是MySQL环境变量的例⼦ MYSQL_ROOT_PASSWORD: 000000 # 设置MySQL的root⽤户的密码 MYSQL_DATABASE: database # 指定要创建的数据库名称 MYSQL_USER: user # 指定要创建的MySQL⽤户名 MYSQL_PASSWORD: 123 # 指定要创建的MySQL⽤户的密码
(6)volumes
挂载宿主机路径或命名卷
1、指定路径挂载
services: mysql: # 服务名 volumes: - ./mysql/data:/var/lib/mysq # 直接指定路径挂载
2、⽣成 volume 卷挂载
[root@doc ~]# docker volume create mysql # ⽣成名为mysql的volume卷 [root@doc ~]# vim docker-compose.yml services: mysql: # 服务名 volumes: - mysql:/var/lib/mysq # 指定volume卷挂载
3、共享⽬录挂载
[root@doc ~]# vim docker-compose.yml version: '2' # 使⽤共享⽬录挂载只有‘2’版本⽀持 service: mysql: # 服务名 volumes: - /var/lib/mysql # 将这个⽬录作为共享⽬录 nginx: volumes: - /usr/local/nginx/html php: volumes_from: # 共享⽬录来⾃ - mysql # 挂载的共享⽬录,挂载后会在容器内⽣成与被挂载的⽬录同名的路径 - nginx # 共享挂载可以是⼀个列表
(7)port
指定了要宿主机映射到容器的端⼝,端⼝不能低于 60(宿主机端 ⼝:容器端⼝),如果选择的端⼝号低于 60,可能会与系统保留的知名端⼝冲突。
services: mysql: # 服务名 ports: - 3306:3306 # 宿主机端⼝:容器端⼝
(8)expose
⽤于在 docker 容器内部暴露端⼝的选项。
services: mysql: # 服务名 expose: - 3306
(9)networks
加⼊⽹络,引⽤顶级 networks 条⽬.
networks: # 与services同级 dev: # ⾃定义或已存在的⽹络设备名 driver: bridge # 设备类型:⽹桥 external: true # 外部存在:是
(10)hostname
设定容器主机名
services: mysql: # 服务名 hostname: mysql
(11)command
指定容器启动时要运⾏的命令,覆盖构建时的默认命令
services: mysql: #服务名 command: --character-set·server=utf8
2、docker compose 命令选项
(1)build:重新构建服务
(2) ps:列出容器
(3) up:启动所有docker-compose服务
(4) up -d:启动所有docker-compose服务启动并后台运⾏
(5) exec:进⼊容器实例内部
(6)scale:指定⼀个服务器启动数量
(7)top:显示容器进程
(8)logs:查看容器输出⽇志
(9)down:停⽌并删除容器、⽹络、卷、镜像
(10)stop:停⽌服务
(11) start:启动服务
(12) restart:重启服务
(13)config:检查配置
(14)config -q:检查配置,有问题才有输出
(15) --version:查看版本
5、docker-compose 实例
# 准备docker环境 [root@docker03 ~]# vim /etc/docker/daemon.json "insecure-registries" : [ "http://10.0.0.52" ], [root@docker03 test]# vim /usr/lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd [root@docker03 test]# systemctl daemon-reload [root@docker03 test]# systemctl start docker [root@docker03 ~]# mkdir test [root@docker03 ~]# cd test # 创建docker-compose实例 [root@docker03 test]# mkdir html [root@docker03 test]# echo "我是被编排的nginx" > ./html/index.html [root@docker03 test]# ls docker-compose.yml html [root@docker03 test]# vim docker-compose.yml version: "3" #⽂件版本 services: nginx: #服务名 container_name: c1 #容器名 image: "nginx:latest" ports: - "80:80" #端⼝映射 volumes: - /root/test/html/:/usr/share/nginx/html/ #挂载 # 启动compose集群 # 要在 docker-compose.yml ⽂件所在的⽬录下才能通过 docker compose 命令启动容器。 [root@docker03 test]# docker compose up -d # 启动⼯程后会根据指定的容器名称,⽣成对应的容器 WARN[0000] /root/test/docker-compose.yml: `version` is obsolete [+] Running 8/8 ✔ nginx Pulled 30.4s ✔ e4fff0779e6d Pull complete 9.5s ✔ 2a0cb278fd9f Pull complete 19.8s ✔ 7045d6c32ae2 Pull complete 19.8s ✔ 03de31afb035 Pull complete 19.8s ✔ 0f17be8dcff2 Pull complete 19.9s ✔ 14b7e5e8f394 Pull complete 19.9s ✔ 23fa5a7b99a6 Pull complete 19.9s [+] Running 2/2 ✔ Network test_default Created 0.3s ✔ Container c1 Started 0.8s # 访问测试 [root@docker03 test]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE nginx latest 5ef79149e0ec 2 weeks ago 188MB [root@docker03 test]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 46d8b91c4a5e nginx:latest "/docker-entrypoint.…" 6 minutes ago Up 6 minutes 0.0.0.0:80->80/tcp, :::80->80/tcp c1 [root@docker03 test]# curl 10.0.0.52 我是被编排的nginx # 浏览器访问
三、配置harbor
Harbor 是一个用于存储和管理 Docker 镜像等容器镜像的企业级 Registry 服务器。
1、上传harbor文件,解压
[root@docker1 ~]# tar zxf harbor-offline-installer-v2.11.1.tgz [root@docker1 ~]# ls anaconda-ks.cfg docker.sh harbor harbor-offline-installer-v2.11.1.tgz v [root@docker1 ~]# cd harbor [root@docker1 harbor]# ls common.sh harbor.v2.11.1.tar.gz harbor.yml.tmpl install.sh LICENSE prepare
2、修改配置文件
# 配置文件 # harbor的配置文件是harbor.yml但是解压后的目录中只有harbor.yml.tmpl # 需要复制一份修改名字即可 [root@docker1 harbor]# cp harbor.yml.tmpl harbor.yml [root@docker1 harbor]# ls common.sh harbor.v2.11.1.tar.gz harbor.yml harbor.yml.tmpl install.sh LICENSE prepare [root@docker1 harbor]# vim harbor.yml # 改为本机ip地址 5 hostname: 10.0.0.51 6 7 # http related config 8 http: 9 # port for http, default is 80. If https enabled, this port will redirect to https port 10 port: 80 11 # 将有关https的部分全部注释掉 12 # https related config 13 # https: 14 # https port for harbor, default is 443 15 # port: 443 16 # The path of cert and key files for nginx 17 # certificate: /your/certificate/path 18 # private_key: /your/private/key/path 19 # enable strong ssl ciphers (default: false) 20 # strong_ssl_ciphers: false 43 # The initial password of Harbor admin # 查看默认的用户名和密码 46 harbor_admin_password: Harbor12345
3、部署容器环境
# 修改daemon.json文件 [root@docker1 harbor]# vim /etc/docker/daemon.json { "registry-mirrors" : [ "https://do.nark.eu.org", "https://dc.j8.work", "https://docker.m.daocloud.io", "https://dockerproxy.com", "https://docker.mirrors.ustc.edu.cn", "https://docker.nju.edu.cn" ], "host" : [ "tcp://0.0.0.0:2375", "unix:///var/run/docker.sock" ], "insecure-registries" : [ # 本机ip地址(仓库),使用80端口 "http://10.0.0.51" ], "bip" : "172.20.13.1/24", "mtu" : 1472 } # 开启容器 [root@docker1 harbor]# systemctl start docker # 修改docker文件 [root@docker1 harbor]# vim /usr/lib/systemd/system/docker.service ExecStart=/usr/bin/dockerd # 重新加载daemon文件 [root@docker1 harbor]# systemctl daemon-reload # 重启docker [root@docker1 harbor]# systemctl restart docker
4、使用自带脚本检查并初始化配置harbor
# 检查环境是否合适 [root@docker1 harbor]# ./prepare prepare base dir is set to /root/harbor Unable to find image 'goharbor/prepare:v2.11.1' locally Successfully called func: create_root_cert # 查看端口是否被占用并关闭防火墙 [root@docker1 harbor]# netstat -lntup | grep 5000 [root@docker1 harbor]# netstat -lntup | grep 80 [root@docker1 harbor]# systemctl stop firewalld # 开始初始化配置harbor环境 [root@docker1 harbor]# ./install.sh [+] Running 10/10 ? Network harbor_harbor Created 0.1s ? Container harbor-log Started 0.7s ? Container registry Started 3.3s ? Container harbor-portal Started 3.3s ? Container redis Started 3.3s ? Container harbor-db Started 3.3s ? Container registryctl Started 3.3s ? Container harbor-core Started 13.9s ? Container nginx Started 22.9s ? Container harbor-jobservice Started 22.8s ✔ ----Harbor has been installed and started successfully.----
5、查看容器运行情况
# 查看被创建的容器,都是正在开启的状态,等一会让他全部开启 [root@docker1 harbor]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 14b077f4d919 goharbor/nginx-photon:v2.11.1 "nginx -g 'daemon of…" 40 seconds ago Up 14 seconds (health: starting) 0.0.0.0:80->8080/tcp, :::80->8080/tcp nginx c041eb8edf2b goharbor/harbor-jobservice:v2.11.1 "/harbor/entrypoint.…" 40 seconds ago Restarting (2) Less than a second ago harbor-jobservice 58f2e1174eb9 goharbor/harbor-core:v2.11.1 "/harbor/entrypoint.…" 40 seconds ago Up 24 seconds (health: starting) harbor-core 7e6f79dcae20 goharbor/harbor-db:v2.11.1 "/docker-entrypoint.…" 40 seconds ago Up 33 seconds (health: starting) harbor-db a7f3235a2bdf goharbor/redis-photon:v2.11.1 "redis-server /etc/r…" 40 seconds ago Up 33 seconds (health: starting) redis 623e25aff7e5 goharbor/registry-photon:v2.11.1 "/home/harbor/entryp…" 40 seconds ago Up 33 seconds (health: starting) registry 2577d87bdac0 goharbor/harbor-portal:v2.11.1 "nginx -g 'daemon of…" 40 seconds ago Up 33 seconds (health: starting) harbor-portal 2bf21b95c413 goharbor/harbor-registryctl:v2.11.1 "/home/harbor/start.…" 40 seconds ago Up 33 seconds (health: starting) registryctl 201780bb9f41 goharbor/harbor-log:v2.11.1 "/bin/sh -c /usr/loc…" 41 seconds ago Up 35 seconds (healthy) 127.0.0.1:1514->10514/tcp harbor-log
6、测试
到浏览器中访问本机ip地址
输入(用户名:admin 密码:Harbor12345)
点击 项目--------》library
7、推送镜像到harbor的私有仓库中
查看推送命令
# 在命令行中登录页面 [root@docker1 harbor]# docker login http://10.0.0.51 Username: admin Password: Harbor12345 WARNING! Your password will be stored unencrypted in /root/.docker/config.json. Configure a credential helper to remove this warning. See https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded # 为镜像打标签 [root@docker1 harbor]# docker tag centos:latest 10.0.0.51/library/centos:v0 # 将本地镜像推送到私有仓库中 [root@docker1 harbor]# docker push 10.0.0.51/library/centos:v0 The push refers to repository [10.0.0.51/library/centos] 74ddd0ec08fa: Pushed v0: digest: sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc size: 529
8、harbor配置中使用到的docker-compose命令
[root@docker1 ~]# ls anaconda-ks.cfg docker.sh harbor harbor-offline-installer-v2.11.1.tgz v [root@docker1 ~]# cd harbor [root@docker1 harbor]# ls common docker-compose.yml harbor.yml install.sh prepare common.sh harbor.v2.11.1.tar.gz harbor.yml.tmpl LICENSE # 一次性关闭所有容器 [root@docker1 harbor]# docker-compose stop # 开启所有容器 [root@docker1 harbor]# docker-compose start # 删掉所有容器 [root@docker1 harbor]# docker-compose down # 重新检查环境 [root@docker1 harbor]# ./prepare # 重新初始化 [root@docker1 harbor]# ./install.sh
9、拉取harbor的私有仓库中的镜像
复制拉取镜像的命令
# 在其他docker主机上配置daemon仓库,启动docker,使用复制的下载链接,添加共享的镜像 [root@node11 ~]# vim /etc/docker/daemon.json "insecure-registries" : [ "http://10.0.0.51" ], [root@node11 ~]# systemctl daemon-reload [root@node11 ~]# systemctl restart docker [root@node11 ~]# docker pull 10.0.0.51/library/centos@sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc 10.0.0.51/library/centos@sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc: Pulling from library/centos Digest: sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc Status: Downloaded newer image for 10.0.0.51/library/centos@sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc 10.0.0.51/library/centos@sha256:a1801b843b1bfaf77c501e7a6d3f709401a1e0c83863037fa3aab063a7fdb9dc [root@node11 ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE centos latest 5d0da3dc9764 2 years ago 231MB 10.0.0.51/library/centos <none> 5d0da3dc9764 2 years ago 231MB