Docker默认的网络环境下，单台主机上的Docker容器可以通过docker0网桥直接通信，而不同主机上的Docker容器之间只能通过在主机上做端口映射进行通信。这种端口映射方式对很多集群应用来说极不方便。如果能让Docker容器之间直接使用自己的IP地址进行通信，会解决很多问题。按实现原理可分别直接路由方式、桥接方式（如pipework）、Overlay隧道方式（如flannel、ovs+gre）等
情景构造
如下图所示，我们有两个物理主机1和主机2，我们在各自宿主机上启动一个centos容器，启动成功之后，两个容器分别运行在两个宿主机之上，默认的IP地址分配如图所示，这也是Docker自身默认的网络。
一、直接路由
通过在Docker主机上添加静态路由实现跨宿主机通信：
具体实现
1.1、分别对主机1和主机2上的docker0进行配置
编辑主机1上的 /etc/docker/daemon.json 文件，添加内容： "bip":"ip/netmask"
"bip": "172.17.1.252/24"编辑主机2上的 /etc/docker/daemon.json文件，添加内容： "bip":"ip/netmask"
"bip": "172.17.2.252/24"1.2、 重启docker服务
主机1和主机2上均执行如下命令重启docker服务以使修改后的docker0网段生效
systemctl restart docker1.3、 添加路由规则
主机1上添加路由规则如下：
route add -net 172.17.2.0 netmask 255.255.255.0 gw 10.0.0.2主机2上添加路由规则如下：
route add -net 172.17.1.0 netmask 255.255.255.0 gw 10.0.0.21.4、配置iptables规则
主机1上添加如下规则：
iptables -t nat -F POSTROUTING
iptables -t nat -A POSTROUTING -s 172.17.1.0/24 ! -d 172.17.0.0/16 -j MASQUERADE主机2上添加如下规则：
iptables -t nat -F POSTROUTING
iptables -t nat -A POSTROUTING -s 172.17.2.0/24 ! -d 172.17.0.0/16 -j MASQUERADE1.5、 启动容器
主机1上启动centos容器：
docker run -it --name container1 centos /bin/bash主机2上启动centos容器：
docker run -it --name container2 centos /bin/bash1.6、 容器间直接通信
好了，现在两容器可以互ping了
二、flannel
2.1、flannel概述
Flannel 使用etcd存储配置数据和子网分配信息。flannel 启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。etcd也存储这个每个主机对应的ip。flannel 使用etcd的watch机制监视/coreos.com/network/subnets下面所有元素的变化信息，并且根据它来维护一个路由表。为了提高性能，flannel优化了Universal TAP/TUN设备，对TUN和UDP之间的ip分片做了代理。
数据从源容器中发出后，经由所在主机的docker0虚拟网卡转发到flannel0虚拟网卡，这是个P2P的虚拟网卡，flanneld服务监听在网卡的另外一端。
Flannel通过Etcd服务维护了一张节点间的路由表，该张表里保存了各个节点主机的子网网段信息。
源主机的flanneld服务将原本的数据内容UDP封装后根据自己的路由表投递给目的节点的flanneld服务，数据到达以后被解包，然后直接进入目的节点的flannel0虚拟网卡，然后被转发到目的主机的docker0虚拟网卡，最后就像本机容器通信一样的由docker0路由到达目标容器。
2.2、etcd部署安装
环境准备：
| 主机名 | IP | 角色 |
|---|---|---|
| harbor | 10.0.0.100 | etcd |
| docker01 | 10.0.0.101 | docker |
| docker02 | 10.0.0.102 | docekr |
#下载安装
[root@harbor ~]# yum install -y etcd
#修改配置文件 //全部删除粘贴即可，或者手动修改，删除前考虑是否备份
[root@harbor ~]# vim /etc/etcd/etcd.conf
# [member]
ETCD_NAME=default
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_CLIENT_URLS="http://10.0.0.100:2379,http://127.0.0.1:2379"
# #[cluster]
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="http://10.0.0.11:2379"
## 查看健康状态 //出现“cluster is healthy”表示OK
[root@harbor ~]# etcdctl -C http://10.0.0.100:2379 cluster-health
member 8e9e05c52164694d is healthy: got healthy result from http://10.0.0.101:2379
cluster is healthy
## 写入数据
[root@harbor ~]# etcdctl -C http://10.0.0.100:2379 set /testdir/testkey "hello
world"
hello world
## 查看数据
[root@harbor ~]# etcdctl -C http://10.0.0.100:2379 get /testdir/testkey
hello world2.2.1、etcd web界面
#下载 //需要ssl证书验证，大概率下载失败，建议去网站下载
[root@harbor ~]# wget https://github.com/evildecay/etcdkeeper/releases/download/v0.7.6/etcdkeeper-v0.7.6-linux_x86_64.zip
#解压
[root@harbor ~]# unzip etcdkeeper-v0.7.6-linux_x86_64.zip
#移动到解压目录
[root@harbor ~]# cd etcdkeeper/
#授权
[root@harbor ~]# chmod +x etcdkeeper
#启动服务
[root@harbor ~]# ./etcdkeeper -h 0.0.0.0
#浏览器访问
10.0.0.100:8080
2.3、安装flannel
两台主机操作
# 安装flannel
[root@docker01 ~]# yum install -y flannel
[root@docker02 ~]# yum install -y flannel
# 修改flannel配置文件
[root@docker01 ~]# vim /etc/sysconfig/flanneld
FLANNEL_ETCD_ENDPOINTS="http://10.0.0.100:2379"
FLANNEL_ETCD_PREFIX="/atomic.io/network"
# 创建数据 以下命令二选一
[root@docker01 ~]# etcdctl mk /atomic.io/network/config '{"Network":"192.168.0.0/16"}'
{"Network":"192.168.0.0/16"}
[root@docker01 ~]# etcdctl -C http://10.0.0.101:2379 set /atomic.io/network/config
'{"Network":"192.168.0.0/16"}
# 启动flanneld
[root@docker02 cicd]# systemctl start flanneld
2.4、docker关联flannel
# 修改docker脚本 //添加下面两行，其中ExecStart替换原来的启动命令，原来的启动命令注释即可
[root@docker02 cicd]# vim /usr/lib/systemd/system/docker.service
EnviromentFile=/run/flannel/docker
ExecStart=/usr/bin/dockerd -H fd:// $DOCKER_NETWORK_OPTIONS
# 重启docker
[root@docker01 ~]# systemctl daemon-reload
[root@docker01 ~]# systemctl stop docker.socket
[root@docker01 ~]# systemctl stop docker.service
[root@docker01 ~]# systemctl start docker
#docker02操作如上2.5、开启内核转发
# 开启内核转发
[root@docker01 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
# 防火墙加载规则
[root@docker01 ~]# systemctl start firewalld
[root@docker01 ~]# systemctl stop firewalld
#docker02操作如上2.6、启动容器测试
[root@docker01 ~]# docker run -it busybox /bin/sh
[root@docker02 ~]# docker run -it busybox /bin/sh
#查看docker02容器IP，使用docker01 ping测试
三、overlay
为支持容器跨主机通信，Docker 提供了 overlay driver，使用户可以创建基于 VxLAN 的 overlay 网络。VxLAN 可将二层数据封装到 UDP 进行传输，VxLAN 提供与 VLAN 相同的以太网二层服务，但是拥有更强的扩展性和灵活性。有关 VxLAN 更详细的内容可参考 CloudMan 在《每天5分钟玩转 OpenStack》中的相关章节。
3.1、安装consul
Docerk overlay 网络需要一个 key-value 数据库用于保存网络状态信息，包括 Network、Endpoint、IP 等。Consul、Etcd 和 ZooKeeper 都是 Docker 支持的 key-vlaue 软件。在这里我们使用consul。
#harbor上： consul存储ip地址的分配
[root@harbor ~]# docker run -d -p 8500:8500 -h consul --name consul progrium/consul -server -bootstrap
-p 8500:8500 指定映射端口8500
-h consul 指定主机名
--name consul 是容器的名字
progrium/consul 镜像名
-server 设置Agent是server模式
-bootstrap 设置服务为“bootstrap”模式
容器启动后，可以通过 http://10.0.0.100:8500 访问 Consul。
docker01、docker02上修改添加：vim /etc/docker/daemon.json
#docker01
[root@harbor ~]# vim /etc/docker/daemon.json**
{
"hosts":["tcp://0.0.0.0:2375","unix:///var/run/docker.sock"],
"cluster-store": "consul://10.0.0.100:8500",
"cluster-advertise": "10.0.0.101:2375"
}
#docker02
[root@harbor ~]# vim /etc/docker/daemon.json**
{
"hosts":["tcp://0.0.0.0:2375","unix:///var/run/docker.sock"],
"cluster-store": "consul://10.0.0.100:8500",
"cluster-advertise": "10.0.0.102:2375"
}docker01：
docker02：
- host 开启和监听2375端口，同时使用docker.sock文件
- --cluster-store
指定 consul 的地址。 - --cluster-advertise 告知 consul 自己的连接地址。
注意：记得修改docker.service.因为配置和daemon.json冲突
#修改 /usr/lib/systemd/system/docker.service
#将-H fd://去掉
ExecStart=/usr/bin/dockerd --containerd=/run/containerd/containerd.sock
修改后重启docker
systemctl daemon-reload
systemctl restart docker创建好以上步骤后，我们就可以在网页上访问： http://10.0.0.100:8500
在KEY/VALUE -> docker -> nodes 下如果有你创建的两个节点node2（192.168.1.13），node3（192.168.1.14），说明成功。
