docker 集群 笔记

docker 集群

Docker 容器 

移除所有的容器和镜像（大扫除）
    用一行命令大扫除：

        docker kill $(docker ps -q) ; docker rm $(docker ps -a -q) ; docker rmi $(docker images -q -a)
        注：shell 中的 $() 和 `` 类似，会先执行这里面的内容，上面的脚本会出现如下 docker kill "pids" ; docker kill 在 docker 中用于停止容器，docker rm 删除容器， docker rmi 删除镜像
        当没有运行的容器或者是根本没有容器的时候，这只会提示一个警告信息。当你想尝试的时候，这就是个非常好的单行命令。如果你仅仅想删除所有的容器，你可以运行如下命令：

        docker kill $(docker ps -q) ; docker rm $(docker ps -a -q)

    退出时删除容器

        如果你仅仅想在一个容器中快速的运行一个命令，然后退出，并且不用担心容器状态，把 --rm 参数加入 run 命令后面,这将结束很多你保存了的容器，并且清理它们。

        示例：docker run --rm -i -t busybox /bin/bash    

Docker Machine 

    统一 docker 虚拟机 环境 按照工具

    在 docker1. 后 按照docker 自带

    创建一个machine
        docker-machine create --driver virtualbox worker  （virtualbox）
        docker-machine create --driver hyperv  manager        （hyperv）

  注意：
　　　docker machine 使用的系统是　 Tiny Core Linux
　　　该系统号称世界最小的 LINUX 系统。并且该系统运行在内存中。 docker 对其镜像了拓展 预装了docker 环境。

    查看machine列表
        docker-machine ls

    查看 machine 的环境变量的配置信息
        docker-machine env my-machine

    连接到machine的shell
        eval "$(docker-machine env my-machine)"

    shh  链接
        docker-machine ssh my-machine

    关于 env 链接问题

        在win10 中
         docker-machine    env my-machine | Invoke-Expression

        查看docker-machine ls

        NAME       ACTIVE     DRIVER       STATE     URL                         SWARM   DOCKER    ERRORS
        my-machine   *        virtualbox   Running   tcp://192.168.99.100:2376           v1.12.3
        my-machine   -        virtualbox   Running   tcp://192.168.99.100:2376           v1.12.3

        ACTIVE = *  显示当前链接的 是  my-machine 的 docker  

        后续

            可以直接如本地docker 环境一样使用 

            docker images

docker-compose
{
    批量按照 镜像

    安装docker-compose

    # curl -L https://github.com/docker/compose/releases/download/1.8.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
    # chmod +x /usr/local/bin/docker-compose
    # docker-compose -v

    # cat docker-compose.yml
        version: ""

        services:
          rng:
            build: rng
            ports:
            - "8001:80"

          hasher:
            build: hasher
            ports:
            - "8002:80"

          webui:
            build: webui
            ports:
            - "8000:80"
            volumes:
            - "./webui/files/:/files/"

          redis:
            image: redis

          worker:
            build: worker
    docker币应用一共有4个服务. 分别对应4个目录rng, hasher, webui, worker:
        详情可进入对应目录查看Dockerfile.

        rng是一个web service 生成随机的bytes数据.
        hasher是一个计算POST 数据hash值的web service.
        worker作为工作节点 后台调用rng 生成随机bytes数据, 然后将数据post到hasher服务计算hash值, 如果hashe值开头为0.则产生一个docker币.并将docker币保存到redis数据库中.
        webui一个web接口来监控整个系统.读取redis数据库中的docker币数量

    运行docker应用
        docker-compose up  // 在docker-compose.yml 文件夹中

    应用运行情况
        docker-compose ps

    增加节点
        docker-compose scale worker=

        docker-compose ps

                        Name                       Command               State          Ports
        -------------------------------------------------------------------------------------
        dockercoins_hasher_1    ruby hasher.rb                   Up      0.0.0.0:->/tcp
        dockercoins_redis_1     docker-entrypoint.sh redis ...   Up      /tcp
        dockercoins_rng_1       python rng.py                    Up      0.0.0.0:->/tcp
        dockercoins_webui_1     node webui.js                    Up      0.0.0.0:->/tcp
        dockercoins_worker_1    python worker.py                 Up
        dockercoins_worker_10   python worker.py                 Up
        dockercoins_worker_2    python worker.py                 Up
        dockercoins_worker_3    python worker.py                 Up
        dockercoins_worker_4    python worker.py                 Up
        dockercoins_worker_5    python worker.py                 Up
        dockercoins_worker_6    python worker.py                 Up
        dockercoins_worker_7    python worker.py                 Up
        dockercoins_worker_8    python worker.py                 Up
        dockercoins_worker_9    python worker.py                 Up

    ps: docker-compose 并未详细学习
}

Docker Swarm

    集群管理工具

    Docker  1.12 集成了Swarm集群工具

    docker swarm 开启swarm模式; 加入Swarm集群; 配置集群参数
    docker node 查询集群节点信息; 提升/移除一个管理节点; 管理swarm节点主机
    docker service 创建管理 service

    初始化swram集群
        docker swarm init --advertise-addr 192.168.99.101

        --advertise-addr参数, 后面跟你swarm集群的通讯地址

    docker swarm mode信息:
        在swram docker环境中
        docker info
            Swarm: active

    加入swarm集群的命令和密钥
        docker swarm join-token worker  （工人）
        docker swarm join-token manager    （管理员）

    加入swarm集群
        在需要加入集群的docker环境中
            运行 docker swarm join-token worker      （工人） 显示的语句
            运行 docker swarm join-token manager    （管理员）显示的语句

    查集群节点列表
        docker node ls

    Swarm集群上运行service
        原来使用docker run的命令, 把前面替换成docker service create
            docker service create --name ping-google alpine ping 8.8.8.8

    查询 swarm service列表
            docker service ls
        ID            NAME         REPLICAS  IMAGE   COMMAND
        9cyy6xrk2n0w  ping-google  /       alpine  ping 8.8.8.8

        ps ： 注意 REPLICAS  /  前面的1 是已经启动的 容器   后面的1 是总共需要几个容器

    查看服务到底跑在哪个节点服务器上:    

        docker service ps <serviceID> 

        docker service ps ping-google
        ID                         NAME               IMAGE   NODE    DESIRED STATE  CURRENT STATE           ERROR
        alxkyacovh4ltiklpccjhf2u5  ping-google.      alpine  node03  Running        Running  minutes ago
        15e8v9q83wu3skrz63ieacbkr   \_ ping-google.  alpine  node01  Shutdown       Rejected  minutes ago  "No such image: alpine:latest"

    Scale扩展服务
        Scale服务到10个副本容器
            docker service scale <serivce ID>=<replicas No>

            ps ：docker service scale ping-google=

            ID            NAME         REPLICAS  IMAGE   COMMAND
            9cyy6xrk2n0w  ping-google  /      alpine  ping 8.8.8.8

            注意REPLICAS现在显示1/10表示这个service一共有10个副本,现在成功运行了1个. 集群正在启动其他的副本.

        修改服务的属性 扩展服务

            查看服务属性
                docker service inspect 服务名称
                    "Mode": {
                        "Replicated": {
                            "Replicas":
                        }
                    },

            更新服务属性
                docker service update rng --replicas 

    global模式

        global模式的service, 就是在swarm集群的每个节点创建一个容器副本
        让一个service分布在集群的每个节点上

        // 指定网络  并且 使用 global模式
        docker service create --network dockercoins --name debug --mode global 服务名称

    暴露一个服务端口
        swarm集群的service端口暴露还有如下特性:

            公共的端口会暴露在每一个swarm集群中的节点服务器上.
            请求进如公共端口后会负载均衡到所有的sevice实例上.

        发布端口的参数跟单机环境一样是-p, 就是把docker run -p替换成docker service create -p.
            docker service create --name search --publish : --replicas  elasticsearch

            replicas 是设置创建 7个 容器

    swarm集群负载均衡service有两种方式VIP和DNSRR:

            VIP模式每个service会得到一个 virtual IP地址作为服务请求的入口. 基于virtual IP进行负载均衡.

            DNSRR模式service利用DNS解析来进行负载均衡, 这种模式在旧的Docker Engine下, 经常行为诡异…所以不推荐.

            查看service的负载均衡模式

                docker service inspect rng

                        "EndpointSpec": {
                        "Mode": "vip"
                        }
                },
                "Endpoint": {
                    "Spec": {
                        "Mode": "vip"
                    },
                    "VirtualIPs": [
                        {
                            "NetworkID": "396fwpd5ja6azh93dshalmxro",
                            "Addr": "10.0.0.6/24"
                        }

        容器之间是不联通的  可以通过 主机IP 还联通 、 实用自定义网络 联通

        注意！！
            如果是通过 服务名称访问  服务名称不要有 特殊字符  如 @ _  等

    删除服务

        docker service rm <service ID or Name>

    容器服务更新

        程序代码进行修改后  构建新版的号的镜像 上次到 镜像仓库   

        更新服务是同版本好来更新的

            docker service update 命令

                --update-parallelism指定每次update的容器数量,
                --update-delay 每次更新之后的等待时间.
                --image后面跟服务镜像名称

            // 原先的版本号是 0.1  更新版本 为 0.01
            docker service update 服务名称 --update-parallelism  --update-delay 5s --image localhost:/dockercoins_worker:v0.

            以一次更新2个容器副本的    频率更新到v0.01版本.

    容器服务回滚

        和 容器服务更新 一样  只要 指定版本号就可以了

    跨主机问题  

        经过测试  可以 阿里云主机 与本地Docker Machine 创建的虚拟机 互联！

   注意！！
　　　
　　　 要打开 端口！　

　　　　　　Port 7946 TCP/UDP for container network discovery.

　　　　　　Port 4789 UDP for the container ingress network.

    
 关于 获取请求 ip 地址的问题

　　　在 swarm  overlay 模式下   获取的IP 是服务器IP地址 不是 用户请求IP 地址。
　
　　解决办法
　　　　目前为止   docker service create --publish mode=host,target=9221,published=9221  
　　　　制定为 mode=host   直接将请求到容日 不进行转发。
　　据说 17.07 版本后 会解决。

    镜像仓库registry

        创建registry服务, 发布5000端口
            docker service create --name registry --publish : registry:
        ps：
            启动了一个registry副本容器, 根据docker swarm集群的端口发布服务特性
            swarm集群所有节点都会自动发布本机的5000对应到registry
            所以不管你在哪个节点上执行curl localhost:/v2/_catalog
            都是可以访问到registry服务的.所以你不用关心这个registry跑在那个节点上

    推送镜像

        需要先tag这个镜像的名字成<registry>/<image name>:<tag>:
            docker tag alpine localhost:/test
        推送image
            docker push <image name>   

    overlay网络

        docker .12以前, swarm集群需要一个额外的key-value存储(consul, etcd etc). 来同步网络配置
        保证所有容器在同一个网段中.在docker .12已经内置了这个存储, 集成了overlay networks的支持

        创建一个名为dockercoins的overlay network
            docker network create命令
                docker network create --driver overlay dockercoins

        指定网络
            直接使用--network <network name>参数, 在指定网络上创建service

            docker service create --network dockercoins --name redis redis

    指定service约束

        节点属性        匹配                    示例
        node.id            节点 ID                    node.id == 2ivku8v2gvtg4
        node.hostname    节点 hostname            node.hostname != node02
        node.role        节点 role: manager        node.role == manager
        node.labels        用户自定义 node labels    node.labels.security == high
        engine.labels    Docker Engine labels    engine.labels.operatingsystem == ubuntu 14.04    

    举例  约束 服务 在固定的  服务器节点

        由于swarm自动调度定义执行在某个节点上的 重启服务以后 服务可能会被启动再随机的节点  

        docker service create --name registry --publish : \
        --constraint 'node.hostname==node01' registry

    挂载本地文件夹

        docker service create --name registry --publish : \
        --mount source=registry-vol,type=volume,target=/var/lib/registry \
        -e SEARCH_BACKEND=sqlalchemy \
        --constraint 'node.hostname==node01' registry

        docker service create --mount type=bind,target=/container_data/,source=/host_data/

        例 - 本地目录：     target = 容器里面的路径， source = 本地硬盘路径
        docker service create --name nginx --mount type=bind,target=/usr/share/nginx/html/,source=/opt/web/ --replicas  --publish :/tcp nginx

        docker service create --mount type=volume,source=<VOLUME-NAME>,target=<CONTAINER-PATH>,volume-driver=<DRIVER>,

        例 - 挂载volume卷：  source  =  volume 名称 ,  traget = 容器里面的路径
        docker service create --name nginx --mount type=volume,source=myvolume,target=/usr/share/nginx/html,volume-driver=local --replicas  --publish :/tcp nginx

        约束服务在node01 服务器节点
        暴露 绑定IP 

            source=registry-vol 中registry-vol为卷名字  target 是地址
            target = 容器里面的路径， source = 本地硬盘路径

        使用docker volume ls命令查看

            docker volume ls

            docker volume inspect registry-vol
            可以看到本机卷挂载到节点的目录.

    为启动的服务 挂载本地文件夹

            update

            docker service update registry \
               --mount-add type=volume,source=registry-vol,target=/var/lib/registry

    关于 cloud 

        直接使用  服务名称 

            指定  cloud 服务名称  与 docker 服务名称相同

            defaultZone: http://discovery:8761/eureka/

                应为 通过docker已经自动负载了

     本文 很多部分都是 摘自 https://guai.im/   很详细的介绍和搭建了 Docker 集群     感兴趣的 可以看看

重要提示  关于 spring cloud docker 化的问题   

　　由于容器隔离问题  会出现  spring cloud 服务无法访问的问题。  

　　问题原因  
　　　　　
　　　　docker 容器中 会有多个网卡  理论上  spring cloud 会获取 第一个网卡   也就是 在 docker 同一网络中 可以访问通的 IP 
　　　　但是 很多情况下  获取到的缺不是  可以访问通的IP 

　　解决方法
　　　　
　　　　spring cloud 设置 网卡过滤  　　　　

spring:
  cloud:
    inetutils:
      ignoredInterfaces:
        - eth1
        - eth2
        - eth3
        - lo

　　　　关于网卡名称到的是什么 可以运行   

docker service create --network cloud  --replicas 1 --name centos registry.cn-hangzhou.aliyuncs.com/atliwen/centos6.8-ssh ifconfig

　　　　　查看 日志  docker service logs centos  看到

docker 集群 网络 是由管理端 服务器 做中转的    只要可以访问到 管理端服务器  就可以加入该集群   容器就可以互通

CentOS 7 修改主机名称   

　　hostnamectl set-hostname <hostname>

　　hostnamectl set-hostname <主机名> 

CentOS 7 安装 Docker 

　　Prerequisites

　　Docker CE is supported on CentOS 7.3 64-bit.

　　　　1. Set up the repository

　　　　　　Set up the Docker CE repository on CentOS:

　　　　　　　　　　sudo yum install -y yum-utils

　　　　　　　　　　sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

　　　　　　　　　　sudo yum makecache fast

　　　　2. Get Docker CE

　　　　　　Install the latest version of Docker CE on CentOS:

　　　　　　　　　　sudo yum -y install docker-ce

　　　　　　Start Docker:

　　　　　　　　　　sudo systemctl start docker

　　　　3. Test your Docker CE installation

　　　　　　Test your installation:

　　　　　　　　　　sudo docker run hello-world

　　　　开机自启动

　　　　　　 sudo chkconfig docker on

　　　开放firewall防火墙端口

　　　　　　　　firewall-cmd --zone=public --add-port=2377/tcp --permanent && \
　　　　　　　　firewall-cmd --zone=public --add-port=7946/tcp --permanent && \
　　　　　　　　firewall-cmd --zone=public --add-port=7946/udp --permanent && \
　　　　　　　　firewall-cmd --zone=public --add-port=4789/tcp --permanent && \
　　　　　　　　firewall-cmd --zone=public --add-port=4789/udp --permanent && \
　　　　　　　　firewall-cmd --reload

　　　　查看端口开放情况

　　　　　　　　firewall-cmd --list-ports

　　　　直接关闭防火墙

　　　　　　　　systemctl stop firewalld.service #停止firewall

　　　　　　　　systemctl disable firewalld.service #禁止firewall开机启动

 卸载docker 

　　sudo yum -y remove docker*
　　rm -rf /var/lib/docker

设置静态IP

　　　　BOOTPROTO="static" #dhcp改为static
　　　　ONBOOT="yes" #开机启用本配置
　　　　IPADDR=192.168.18.129 #静态IP
　　　　GATEWAY=192.168.18.2 #默认网关
　　　　NETMASK=255.255.255.0 #子网掩码
　　　　DNS1=192.168.18.2 #DNS 配置

poweroff  立刻关机 
shutdown -h now 立刻关机(root用户使用)
重启命令 reboot 
　　　　 shutdown -r now 
立刻重启 shutdown -r 10

systemctl is-enabled iptables.service
systemctl is-enabled servicename.service #查询服务是否开机启动
systemctl enable *.service #开机运行服务
systemctl disable *.service #取消开机运行
systemctl start *.service #启动服务
systemctl stop *.service #停止服务
systemctl restart *.service #重启服务
systemctl reload *.service #重新加载服务配置文件
systemctl status *.service #查询服务运行状态
systemctl --failed #显示启动失败的服务

注：*代表某个服务的名字，如http的服务名为httpd

构建 DOcker 镜像

　　构建镜像

　　　　　　mvn clean package docker:build

　　构建镜像并且推送到镜像表

　　　　　　mvn clean package docker:build -DpushImage

　集群节点添加标识

　　　　 docker node update  djts-4 --label-add servertype=zuul

集群节点删除标识

　　　　docker node update  djts-4 --label-rm   servertype

　 集群服务编排 指定节点标签

　　　　--constraint 'node.labels.servertype==zuul'