Docker 系列七(Dubbo 微服务部署实践).

时间:2024-01-21 09:41:24

一、前言

    之前我们公司部署服务,就是大家都懂的那一套(安装JDK、Tomcat —> 编译好文件或者打war包上传 —> 启动Tomcat),这种部署方式一直持续了很久,带来的问题也很多:

1、繁重的发布任务。微服务一多,就要每个服务都要重启一遍,而且要是集群的话,那要启动的服务就更多了。

2、环境迁移报错。经常发生的一件事,同样的一套代码,这台服务器上就是能跑起来,换个服务器就是报错了。

3、士气低落。小公司没有正经的运维,都是让开发兼并着做这方面的工作,然后负责这块的同事怨言很多(因为这种发布部署实在太无趣了)。

    所以领导决定引起 Docker 作为我们的部署方式,一来可以很好的解决目前项目部署存在的问题,二来为项目注入新鲜血液。

    从上个月15号开始接触 Docker,到现在把我们系统的微服务架构初步搭建好,折腾了好久,踩了很多坑。纪念一下小成就,写了这篇博客。为了避免涉嫌泄露公司机密,就小而全的做一些简单介绍哈,以下面这张最小微服务架构图为例,部署一套 Dubbo 微服务。

二、服务镜像打包

     1、Tomcat 基础环境搭建

    我们系统的每个微服务都部署运行在 Tomcat 上,所以我的想法是:先搭建一套 Tomcat 环境镜像,然后每个微服务都基于这个环境镜像去构建。所以写了一个 tomcat-env 的镜像,思路如下:

    -- 基于 JDK 的 Tomcat 容器(主要参考官网 Tomcat 镜像的 Dockerfile)。

    -- 在上下文目录存放项目编译文件,并重命名为 ROOT(不放 war 包的原因是考虑调试的时候方便,不用改一个文件,就打个war包)。

    -- 删除原本 Tomcat 容器 webapps 目录下的 ROOT 文件,并将上下文目录中项目的 ROOT 文件夹上传到容器 webapps 目录下。

    -- 启动服务。

FROM openjdk:8-jre

ENV CATALINA_HOME /usr/local/tomcat
ENV PATH $CATALINA_HOME/bin:$PATH
RUN mkdir -p "$CATALINA_HOME"
WORKDIR $CATALINA_HOME

# let "Tomcat Native" live somewhere isolated
ENV TOMCAT_NATIVE_LIBDIR $CATALINA_HOME/native-jni-lib
ENV LD_LIBRARY_PATH ${LD_LIBRARY_PATH:+$LD_LIBRARY_PATH:}$TOMCAT_NATIVE_LIBDIR

# runtime dependencies for Tomcat Native Libraries
# Tomcat Native 1.2+ requires a newer version of OpenSSL than debian:jessie has available
# > checking OpenSSL library version >= 1.0.2...
# > configure: error: Your version of OpenSSL is not compatible with this version of tcnative
# see http://tomcat.10.x6.nabble.com/VOTE-Release-Apache-Tomcat-8-0-32-tp5046007p5046024.html (and following discussion)
# and https://github.com/docker-library/tomcat/pull/31
ENV OPENSSL_VERSION 1.1.0f-3+deb9u2
RUN set -ex; \
    currentVersion="$(dpkg-query --show --showformat \'${Version}\n\' openssl)"; \
    if dpkg --compare-versions "$currentVersion" \'<<\' "$OPENSSL_VERSION"; then \
        if ! grep -q stretch /etc/apt/sources.list; then \
# only add stretch if we\'re not already building from within stretch
            { \
                echo \'deb http://deb.debian.org/debian stretch main\'; \
                echo \'deb http://security.debian.org stretch/updates main\'; \
                echo \'deb http://deb.debian.org/debian stretch-updates main\'; \
            } > /etc/apt/sources.list.d/stretch.list; \
            { \
# add a negative "Pin-Priority" so that we never ever get packages from stretch unless we explicitly request them
                echo \'Package: *\'; \
                echo \'Pin: release n=stretch*\'; \
                echo \'Pin-Priority: -10\'; \
                echo; \
# ... except OpenSSL, which is the reason we\'re here
                echo \'Package: openssl libssl*\'; \
                echo "Pin: version $OPENSSL_VERSION"; \
                echo \'Pin-Priority: 990\'; \
            } > /etc/apt/preferences.d/stretch-openssl; \
        fi; \
        apt-get update; \
        apt-get install -y --no-install-recommends openssl="$OPENSSL_VERSION"; \
        rm -rf /var/lib/apt/lists/*; \
    fi

RUN apt-get update && apt-get install -y --no-install-recommends \
        libapr1 \
    && rm -rf /var/lib/apt/lists/*

# see https://www.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/KEYS
# see also "update.sh" (https://github.com/docker-library/tomcat/blob/master/update.sh)
ENV GPG_KEYS 05AB33110949707C93A279E3D3EFE6B686867BA6 07E48665A34DCAFAE522E5E6266191C37C037D42 47309207D818FFD8DCD3F83F1931D684307A10A5 541FBE7D8F78B25E055DDEE13C370389288584E7 61B832AC2F1C5A90F0F9B00A1C506407564C17A3 713DA88BE50911535FE716F5208B0AB1D63011C7 79F7026C690BAA50B92CD8B66A3AD3F4F22C4FED 9BA44C2621385CB966EBA586F72C284D731FABEE A27677289986DB50844682F8ACB77FC2E86E29AC A9C5DF4D22E99998D9875A5110C01C5A2F6059E7 DCFD35E0BF8CA7344752DE8B6FB21E8933C60243 F3A04C595DB5B6A5F1ECA43E3B7BBB100D811BBE F7DA48BB64BCB84ECBA7EE6935CD23C10D498E23

ENV TOMCAT_MAJOR 8
ENV TOMCAT_VERSION 8.0.53
ENV TOMCAT_SHA512 cd8a4e48a629a2f2bb4ce6b101ebcce41da52b506064396ec1b2915c0b0d8d82123091242f2929a649bcd8b65ecf6cd1ab9c7d90ac0e261821097ab6fbe22df9

ENV TOMCAT_TGZ_URLS \
# https://issues.apache.org/jira/browse/INFRA-8753?focusedCommentId=14735394#comment-14735394
    https://www.apache.org/dyn/closer.cgi?action=download&filename=tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz \
# if the version is outdated, we might have to pull from the dist/archive :/
    https://www-us.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz \
    https://www.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz \
    https://archive.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz

ENV TOMCAT_ASC_URLS \
    https://www.apache.org/dyn/closer.cgi?action=download&filename=tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz.asc \
# not all the mirrors actually carry the .asc files :\'(
    https://www-us.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz.asc \
    https://www.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz.asc \
    https://archive.apache.org/dist/tomcat/tomcat-$TOMCAT_MAJOR/v$TOMCAT_VERSION/bin/apache-tomcat-$TOMCAT_VERSION.tar.gz.asc

RUN set -eux; \
    \
    savedAptMark="$(apt-mark showmanual)"; \
    apt-get update; \
    \
    apt-get install -y --no-install-recommends gnupg dirmngr; \
    \
    export GNUPGHOME="$(mktemp -d)"; \
    for key in $GPG_KEYS; do \
        gpg --keyserver ha.pool.sks-keyservers.net --recv-keys "$key"; \
    done; \
    \
    apt-get install -y --no-install-recommends wget ca-certificates; \
    \
    success=; \
    for url in $TOMCAT_TGZ_URLS; do \
        if wget -O tomcat.tar.gz "$url"; then \
            success=1; \
            break; \
        fi; \
    done; \
    [ -n "$success" ]; \
    \
    echo "$TOMCAT_SHA512 *tomcat.tar.gz" | sha512sum -c -; \
    \
    success=; \
    for url in $TOMCAT_ASC_URLS; do \
        if wget -O tomcat.tar.gz.asc "$url"; then \
            success=1; \
            break; \
        fi; \
    done; \
    [ -n "$success" ]; \
    \
    gpg --batch --verify tomcat.tar.gz.asc tomcat.tar.gz; \
    tar -xvf tomcat.tar.gz --strip-components=1; \
    rm bin/*.bat; \
    rm tomcat.tar.gz*; \
    command -v gpgconf && gpgconf --kill all || :; \
    rm -rf "$GNUPGHOME"; \
    \
    nativeBuildDir="$(mktemp -d)"; \
    tar -xvf bin/tomcat-native.tar.gz -C "$nativeBuildDir" --strip-components=1; \
    apt-get install -y --no-install-recommends \
        dpkg-dev \
        gcc \
        libapr1-dev \
        libssl-dev \
        make \
        "openjdk-${JAVA_VERSION%%[.~bu-]*}-jdk=$JAVA_DEBIAN_VERSION" \
    ; \
    ( \
        export CATALINA_HOME="$PWD"; \
        cd "$nativeBuildDir/native"; \
        gnuArch="$(dpkg-architecture --query DEB_BUILD_GNU_TYPE)"; \
        ./configure \
            --build="$gnuArch" \
            --libdir="$TOMCAT_NATIVE_LIBDIR" \
            --prefix="$CATALINA_HOME" \
            --with-apr="$(which apr-1-config)" \
            --with-java-home="$(docker-java-home)" \
            --with-ssl=yes; \
        make -j "$(nproc)"; \
        make install; \
    ); \
    rm -rf "$nativeBuildDir"; \
    rm bin/tomcat-native.tar.gz; \
    \
# reset apt-mark\'s "manual" list so that "purge --auto-remove" will remove all build dependencies
    apt-mark auto \'.*\' > /dev/null; \
    [ -z "$savedAptMark" ] || apt-mark manual $savedAptMark; \
    apt-get purge -y --auto-remove -o APT::AutoRemove::RecommendsImportant=false; \
    rm -rf /var/lib/apt/lists/*; \
    \
# sh removes env vars it doesn\'t support (ones with periods)
# https://github.com/docker-library/tomcat/issues/77
    find ./bin/ -name \'*.sh\' -exec sed -ri \'s|^#!/bin/sh$|#!/usr/bin/env bash|\' \'{}\' +

# verify Tomcat Native is working properly
RUN set -e \
    && nativeLines="$(catalina.sh configtest 2>&1)" \
    && nativeLines="$(echo "$nativeLines" | grep \'Apache Tomcat Native\')" \
    && nativeLines="$(echo "$nativeLines" | sort -u)" \
    && if ! echo "$nativeLines" | grep \'INFO: Loaded APR based Apache Tomcat Native library\' >&2; then \
        echo >&2 "$nativeLines"; \
        exit 1; \
    fi

EXPOSE 8080
RUN rm -rf /usr/local/tomcat/webapps/ROOT/
ONBUILD COPY ROOT /usr/local/tomcat/webapps/ROOT/
ONBUILD ENTRYPOINT ["/usr/local/tomcat/bin/catalina.sh","run"]
tomcat-env

看起来很复杂,不要被吓到,其实都是抄的官网 Tomcat 镜像的Dockerfile,然后改动了一点,主要是后面三句:删除容器 ROOT 文件夹,拷贝上下文目录的 ROOT 文件夹到 wenapps 目录下,重启服务。

RUN rm -rf /usr/local/tomcat/webapps/ROOT/
ONBUILD COPY ROOT /usr/local/tomcat/webapps/ROOT/
ONBUILD ENTRYPOINT ["/usr/local/tomcat/bin/catalina.sh","run"]

tips:1、ONBUILD 命令本次镜像不会被执行,只有以这个镜像为基础镜像的时候才会被执行。

          2、上下文目录指的是 Dockerfile 文件所在的目录。

          3、该镜像已上传到 DockerHub 上:https://hub.docker.com/r/jmcui/tomcat-env/

     2、微服务镜像打包

有了基础环境镜像 tomcat-env,那么打包一个服务镜像就是一件再简单不过的事情了:

FROM tomcat-env:1.0

没错,就是这么简单,因为我们把所有的工作都放在 tomcat-env 中了,其实就是那个 ONBUILD 命令的效果啦~~ 

三、编排文件 docker-compose.yml

    微服务项目要部署起来,主要是靠 docker-compose.yml 文件进行编排,规定服务之间的关联以及先后启动顺序,然后把几十个零散的微服务当成一个整体来统一管理。

    首先,困扰我的是网络问题。做过开发的都知道,要在项目中指定(Spring 在 applicationContext.xml)数据库地址和 Zookeeper 地址,那么我怎么知道容器的 ip 地址是多少呢?先来了解下 Docker 的网络模式?

    Docker 的默认网络配置是 "bridge",当 Docker 启动时,会自动在主机上创建一个 docker0 虚拟网桥,实际上是 Linux 的一个 bridge,可以理解为一个软件交换机。Docker 会随机分配一个本地未占用的私有网段(在 RFC1918 中定义)中的一个地址给 docker0 接口,它会在挂载到它的网口之间进行转发。当创建一个 Docker 容器的时候,同时会创建了一对 veth pair 接口。这对接口一端在容器内,即 eth0;另一端在本地并被挂载到 docker0 网桥,名称以 veth 开头(例如 vethAQI2QT)。通过这种方式,主机可以跟容器通信,容器之间也可以相互通信。

     也就是说,每次容器启动以后的 ip 地址是不固定的,这该怎么办呢?当然可以写死 IP 地址,规定局域网网段,给每个服务编排 IP 地址;当然也可以把network_mode="host",统一用宿主机的网络地址。当然!这些都不是最好的办法:

version: \'3.7\'
#服务列表
services:
  #基础组件 zookeeper  
  zookeeper:
    image: zookeeper
    restart: always
    ports:
      - 4181:2181
  #基础组件 MySQL
  db:
    image: mysql:5.7.17
    command: mysqld --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --init-connect=\'SET NAMES utf8mb4;\'
    ports:
     - "3636:3306"
    volumes:
     - /var/mysqldb:/var/lib/mysql
     - /docker/mysql/my.cnf:/etc/mysql/mysql.conf.d/mysqld.cnf
    restart: always
    environment:
      MYSQL_ROOT_PASSWORD: password
  #消费者服务1 admin
  admin:
    image: "admin:2.3.1"
    ports:
     - "7575:8080"
    depends_on:
     - zookeeper
    restart: always
    environment:
      zookeeper.host: zookeeper://zookeeper:2181
  #提供者服务1 system
  system:
    image: "system:2.3.1"
    depends_on:
     - db
     - zookeeper
    restart: always
    environment:
      zookeeper.host: zookeeper://zookeeper:2181
      mysql.address: db:3306

    看到了吗?IP 地址直接由 服务名 指定就可以了。另外, Docker 中设置的环境变量,竟然能被 applicationContext.xml 中读取,我也是蛮诧异的!(在代码和 Docker 中都配置了mysql.address 的话,以 Docker 中设置的生效)。

    然后 docker-compose up -d 启动微服务项目就可以了~~

    容器部署的一个原则:尽量不要在容器内部做文件的修改,要修改的内容用数据卷的方式映射到宿主机上,比如上面的MySQL配置文件和数据仓库。

    在 Docker 上部署 MySQL 遇到了几个问题,简单罗列下:

1、Navicat 连接的时候: Client does not support authentication protocol requested by server ?

解决:进入 MySQL 容器,运行

ALTER user \'root\'@\'%\' IDENTIFIED WITH mysql_native_password BY \'password\';

2、Expression #1 of SELECT list is not in GROUP BY clause and contains nonaggre 的问题?

原因:MySQL 5.7.5及以上功能依赖检测功能。如果启用了ONLY_FULL_GROUP_BY SQL模式(默认情况下),MySQL将拒绝选择列表,HAVING条件或ORDER BY列表的查询引用在GROUP BY子句中既未命名的非集合列,也不在功能上依赖于它们。

解决:在MySQL的配置文件中加上:

sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION

3、MySQL 连接参数useSSL=true 和 useSSL=false 的区别

    建议不要在没有服务器身份验证的情况下建立SSL连接(同一个 Docker-compose 中是内网环境)。根据 MySQL 5.5.45 +,5.6.26 +和5.7.6+ 要求如果未设置显式选项,则必须默认建立SSL连接。为了符合不使用SSL的现有应用程序。您需要通过设置useSSL = false显式禁用SSL,或者设置useSSL = true并为服务器证书验证提供信任库。

四、结语

    总算是把一个微服务项目部署运行起来了,几乎是用了最少的 Docker-compose 模板文件,所以还是有很多地方可以完善的,比如说 MySQL 密码没有加密处理、服务没有做健康检查、集群方面还没怎么考虑(用 Docker Swarm 实现)等等......路漫漫其修远兮,吾将上下而求索。共勉!