螺蛳壳里做道场：老破机搭建的私人数据中心---Centos下Docker学习06（Docker网络连接）
如果要搭建基于docker的私人DC，除了虚拟机网络连接外，就得掌握docker的网络连接。磨刀不误砍柴工，或者说工欲善其事必先利其器，我们先学学典型的docker的网络连接方式。Docker的网络连接有四种：bridge、none、container和host四种。Docker的网络连接掌握不好，和虚拟机的桥接、host-only、nat等联网方式一组合，那就会彻底让人懵逼的。下面我们走马观花地了解一下。
6.1 概述
Docker在安装后自动提供3种网络，可以使用docker network ls命令查看
| [root@wzz ~]# docker network ls NETWORK ID NAME DRIVER SCOPE 5b9360433700 bridge bridge local bf3fa21ccf2e host host local c8f298d46dba none null local |
Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0)，Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，称为Container-IP，同时Docker网桥是每个容器的默认网关。因为在同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。
docker的4种网络模式
| 网络模式 | 配置 | 说明 |
| host | --network host | 容器和宿主机共享Network namespace |
| container | --network container:NAME_OR_ID | 容器和另外一个容器共享Network namespace |
| none | --network none | 容器有独立的Network namespace， 但并没有对其进行任何网络设置， 如分配veth pair 和网桥连接，配置IP等 |
| bridge | --network bridge | 默认模式 |
6.2 bridge模式
当Docker进程启动时，会在主机上创建一个名为docker0的虚拟网桥，此主机上启动的Docker容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。
从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。在主机上创建一对虚拟网卡veth pair设备，Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0（容器的网卡），另一端放在主机中，以vethxxx这样类似的名字命名，并将这个网络设备加入到docker0网桥中。可以通过brctl show命令查看。
bridge模式是docker的默认网络模式，不写--network参数，就是bridge模式。使用docker run -p时，docker实际是在iptables做了DNAT规则，实现端口转发功能。可以使用iptables -t nat -vnL查看。
图6- 1
6.3 container模式
这个模式指定新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信。
图6- 2
6.4 host模式
如果启动容器的时候使用host模式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡，配置自己的IP等，而是使用宿主机的IP和端口。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。
使用host模式的容器可以直接使用宿主机的IP地址与外界通信，容器内部的服务端口也可以使用宿主机的端口，不需要进行NAT，host最大的优势就是网络性能比较好，但是docker host上已经使用的端口就不能再用了，网络的隔离性不好。
图6- 3
6.5 none模式
使用none模式，Docker容器拥有自己的Network Namespace，但是，并不为Docker容器进行任何网络配置。也就是说，这个Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网卡、配置IP等。
这种网络模式下容器只有lo回环网络，没有其他网卡。none模式可以在容器创建时通过--network none来指定。这种类型的网络没有办法联网，封闭的网络能很好的保证容器的安全性。
图6- 4
6.6 docker容器网络配置
1）Linux内核实现名称空间的创建
ip netns命令
可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包，一般系统会默认安装，如果没有的话，请自行安装。
注意：ip netns命令修改网络配置时需要 sudo 权限。
可以通过ip netns命令完成对Network Namespace 的相关操作，可以通过ip netns help查看命令帮助信息：
|
默认情况下，Linux系统中是没有任何 Network Namespace的，所以ip netns list命令不会返回任何信息。
2）创建Network Namespace
通过命令创建一个名为ns0的命名空间：
| [root@wzz ~]# ip netns list [root@wzz ~]# ip netns add ns0 [root@wzz ~]# ip netns list ns0 |
新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在，命令会报Cannot create namespace file "/var/run/netns/ns0": File exists的错误。
|
对于每个 Network Namespace 来说，它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。
3）操作Network Namespace
ip命令提供了ip netns exec子命令可以在对应的 Network Namespace 中执行命令。
查看新创建 Network Namespace 的网卡信息
| [root@wzz ~]# ip netns exec ns0 ip addr 1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 |
可以看到，新创建的Network Namespace中会默认创建一个lo回环网卡，此时网卡处于关闭状态。此时，尝试去 ping 该lo回环网卡，会提示Network is unreachable
| [root@wzz ~]# ip netns exec ns0 ping 127.0.0.1 connect: 网络不可达 |
通过下面的命令启用lo回环网卡：
| [root@wzz ~]# ip netns exec ns0 ip link set lo up [root@wzz ~]# ip netns exec ns0 ping 127.0.0.1 PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data. 64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.055 ms 64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.127 ms |
4）转移设备
我们可以在不同的 Network Namespace 之间转移设备（如veth）。由于一个设备只能属于一个 Network Namespace ，所以转移后在这个 Network Namespace 内就看不到这个设备了。其中，veth设备属于可转移设备，而很多其它设备（如lo、vxlan、ppp、bridge等）是不可以转移的。
5）veth pair
veth pair 全称是 Virtual Ethernet Pair，是一个成对的端口，所有从这对端口一端进入的数据包都将从另一端出来，反之也是一样。引入veth pair是为了在不同的 Network Namespace 直接进行通信，利用它可以直接将两个 Network Namespace 连接起来。
图6- 5
创建veth pair
| [root@wzz ~]# ip link add type veth [root@wzz ~]# ip a |
图6- 6
可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于”未启用“状态。
可以看到，此时系统中新增了一对veth pair，将veth0和veth1两个虚拟网卡连接了起来，此时这对 veth pair 处于”未启用“状态。
6）实现Network Namespace间通信
下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为ns0的 Network Namespace，下面再创建一个信息Network Namespace，命名为ns1
| [root@wzz ~]# ip netns add ns1 [root@wzz ~]# ip netns list ns1 ns0 |
然后我们将veth0加入到ns0，将veth1加入到ns1
| [root@wzz ~]# ip link set veth0 netns ns0 [root@wzz ~]# ip link set veth1 netns ns1 |
然后我们分别为这对veth pair配置上ip地址，并启用它们
| [root@wzz ~]# ip netns exec ns0 ip link set veth0 up [root@wzz ~]# ip netns exec ns0 ip link set lo up [root@wzz ~]# ip netns exec ns1 ip link set lo up [root@wzz ~]# ip netns exec ns1 ip link set veth1 up [root@wzz ~]# ip netns exec ns0 ip addr add 10.0.0.1/24 dev veth0 [root@wzz ~]# ip netns exec ns1 ip addr add 10.0.0.24/24 dev veth1 |
查看这对veth pair的状态
| [root@wzz ~]# ip netns exec ns0 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 5: veth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether a2:52:5d:72:6d:42 brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet 10.0.0.1/24 scope global veth0 valid_lft forever preferred_lft forever inet6 fe80::a052:5dff:fe72:6d42/64 scope link valid_lft forever preferred_lft forever [root@wzz ~]# ip netns exec ns1 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 6: veth1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether ee:e2:23:ea:81:0d brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 10.0.0.24/24 scope global veth1 valid_lft forever preferred_lft forever inet6 fe80::ece2:23ff:feea:810d/64 scope link valid_lft forever preferred_lft forever |
从上面可以看出，我们已经成功启用了这个veth pair，并为每个veth设备分配了对应的ip地址。我们尝试在ns1中访问ns0中的ip地址：
| [root@wzz ~]# ip netns exec ns1 ping 10.0.0.1 PING 10.0.0.1 (10.0.0.1) 56(84) bytes of data. 64 bytes from 10.0.0.1: icmp_seq=1 ttl=64 time=0.050 ms 64 bytes from 10.0.0.1: icmp_seq=2 ttl=64 time=0.090 ms |
7）veth设备重命名
需要先停用设备才能重命名
| [root@wzz ~]# ip netns exec ns0 ip link set dev veth1 name wzz1 Cannot find device "veth1" |
停用veth1
| [root@wzz ~]# ip netns exec ns1 ip link set veth1 down |
将veth1重命名为wzz1
| [root@wzz ~]# ip netns exec ns1 ip link set dev veth1 name wzz1 |
启用wzz1
| [root@wzz ~]# ip netns exec ns1 ip link set wzz1 up |
查看是否修改成功
| [root@wzz ~]# ip netns exec ns1 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 6: wzz1@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether ee:e2:23:ea:81:0d brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 10.0.0.24/24 scope global wzz1 valid_lft forever preferred_lft forever inet6 fe80::ece2:23ff:feea:810d/64 scope link valid_lft forever preferred_lft forever |
6.7 四种网络模式配置
1）bridge模式配置
| [root@wzz ~]# docker run -it --name t1 --rm busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 9: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever |
--rm是退出即销毁。退出t1，并查看一下
| [root@wzz ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES [root@wzz ~]# |
确实销毁了。
在创建容器时添加--network bridge与不加--network选项效果是一致的
| [root@wzz ~]# docker run -it --name t1 --network bridge --rm busybox / # ifconfig eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02 inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:8 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:648 (648.0 B) TX bytes:0 (0.0 B) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) |
2）none模式配置
| [root@wzz ~]# docker run -it --name t1 --network none --rm busybox / # ifconfig -a lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) / # exit |
除了环回口，啥也没有。
3）container模式配置
启动第一个容器
同时开启虚拟机两个进程，按下图复制一份
图6- 7
| [root@wzz ~]# docker run -it --name b1 --rm busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 13: eth0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever |
另一个进程启动虚拟机b2
| [root@wzz ~]# docker run -it --name b2 --rm busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 15: eth0@if16: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever |
测试一下两台虚拟机连通性（b2）：
| / # ping 172.17.0.2 -c 2 PING 172.17.0.2 (172.17.0.2): 56 data bytes 64 bytes from 172.17.0.2: seq=0 ttl=64 time=2.178 ms 64 bytes from 172.17.0.2: seq=1 ttl=64 time=0.245 ms |
销毁b2，重新启动一个和b1的IP相同的容器，即共享IP，但不共享文件系统。
| [root@wzz ~]# docker run -it --name b2 --rm --network container:b1 busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 13: eth0@if14: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever / # |
可以看见，除了ip一模一样，连MAC都是一样的。我们在b1容器上创建一个目录
图6- 8
到b2容器上检查/tmp目录会发现并没有这个目录，因为文件系统是处于隔离状态，仅仅是共享了网络而已。
图6- 9
在b2容器上部署一个站点
| / # echo 'hello world' > /tmp/index.html / # ls /tmp index.html / # httpd -h /tmp |
在b2上查看
| / # netstat -antl Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 :::80 :::* LISTEN |
图6- 10
在b1上访问
| / # wget -O - -q 172.17.0.2:80 hello world |
图6- 11
由此可见，container模式下的容器间关系就相当于一台主机上的两个不同进程。
4）host模式配置
启动容器时直接指明模式为host
| [root@wzz ~]# docker run -it --name b2 --rm --network host busybox / # ifconfig docker0 Link encap:Ethernet HWaddr 02:42:B8:D4:E2:E3 inet addr:172.17.0.1 Bcast:172.17.255.255 Mask:255.255.0.0 inet6 addr: fe80::42:b8ff:fed4:e2e3/64 Scope:Link UP BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:1 errors:0 dropped:0 overruns:0 frame:0 TX packets:5 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:28 (28.0 B) TX bytes:438 (438.0 B) ens33 Link encap:Ethernet HWaddr 00:0C:29:D3:92:C2 inet addr:192.168.137.135 Bcast:192.168.137.255 Mask:255.255.255.0 inet6 addr: fe80::daa2:2749:f7a6:1c50/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:200502 errors:0 dropped:0 overruns:0 frame:0 TX packets:12555 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:250356402 (238.7 MiB) TX bytes:1181746 (1.1 MiB) ens36 Link encap:Ethernet HWaddr 00:0C:29:D3:92:CC inet addr:192.168.0.20 Bcast:192.168.0.255 Mask:255.255.255.0 inet6 addr: fe80::f5fa:bd2c:d6dd:2aa0/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:469135 errors:0 dropped:1399 overruns:0 frame:0 TX packets:56538 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:615288285 (586.7 MiB) TX bytes:4316266 (4.1 MiB) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 inet6 addr: ::1/128 Scope:Host UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:126 errors:0 dropped:0 overruns:0 frame:0 TX packets:126 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1 RX bytes:11136 (10.8 KiB) TX bytes:11136 (10.8 KiB) |
此时如果我们在这个容器中启动一个http站点，我们就可以直接用宿主机的IP直接在浏览器中访问这个容器中的站点了。在b2上搭建一个网站：
| / #echo 'I am container 2!' > /tmp/index.html / # httpd -h /tmp |
启动一个b1容器，并访问主机ip
| [root@wzz ~]# docker run -it --name b1 --rm --network host busybox / # wget -O - -q 192.168.0.20 I am container 2! |
图6- 12
可见，容器和主机共享ip地址。
到目前为止，我们做好了虚拟机的nat、host-only和桥接的练习，进行了虚拟机的4种网络连接实践，还对私人DC做了初步的IP规划，并试探性的搭建了私人DC的心跳时钟--NTP服务器。接下来，下面我们将进行模拟私人DC服务器的容器生成及初始化工作。敬请期待！
芝兰生于幽谷，不以无人而不芳；君子不为名修，久历岁月而求索。