一、harbor介绍
在实际生产运维中，往往需要把镜像发布到几十、上百台或更多的节点上。这时单台Docker主机上镜像已无法满足，项目越来越多，镜像就越来越多，都放到一台Docker主机上是不行的，我们需要一个像Git仓库一样系统来统一管理镜像。这里介绍的是一个企业级镜像仓库Harbor，将作为我们容器云平台的镜像仓库中心。
Habor是由VMWare公司开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等，足以满足基本企业需求。
二、harbor和registry的比较
Harbor和Registry都是Docker的镜像仓库，但是Harbor作为更多企业的选择，是因为相比较于Regisrty来说，它具有很多的优势。
1、提供分层传输机制，优化网络传输
Docker镜像是是分层的，而如果每次传输都使用全量文件(所以用FTP的方式并不适合)，显然不经济。必须提供识别分层传输的机制，以层的UUID为标识，确定传输的对象。
2、提供WEB界面，优化用户体验
只用镜像的名字来进行上传下载显然很不方便，需要有一个用户界面可以支持登陆、搜索功能，包括区分公有、私有镜像。
3、支持水平扩展集群
当有用户对镜像的上传下载操作集中在某服务器，需要对相应的访问压力作分解。
4、良好的安全机制
企业中的开发团队有很多不同的职位，对于不同的职位人员，分配不同的权限，具有更好的安全性。
5、Harbor提供了基于角色的访问控制机制，并通过项目来对镜像进行组织和访问权限的控制。kubernetes中通过namespace来对资源进行隔离，在企业级应用场景中，通过将两者进行结合可以有效将kubernetes使用的镜像资源进行管理和访问控制，增强镜像使用的安全性。尤其是在多租户场景下，可以通过租户、namespace和项目相结合的方式来实现对多租户镜像资源的管理和访问控制。
三、部署harbor（在部署节点上）
harbor需要安装docker和docker-compose，client只需要安装docker
docker-compose的安装：
yum install epel-release
yum install -y python-pip
pip install --upgrade pip
pip install docker-compose
1、下载harbor
https://github.com/goharbor/harbor/releases
2、解压至/opt下
[root@ren8 kubernetes]# tar zxf harbor-offline-installer-v1.4.0.tgz
[root@ren8 kubernetes]# ls
bash k8s197.tar.gz
ca.tar.gz kube-yunwei-197
harbor kube-yunwei-197.tar.gz
harbor-offline-installer-v1.4.0.tgz scope.yaml
image sock-shop
image.tar.gz
[root@ren8 kubernetes]# cp -r harbor /opt/
[root@ren8 kubernetes]# cd /opt/harbor/
[root@ren8 harbor]# ls -trl
总用量 805152
-rwxr-xr-x 1 root root 25791 2月 6 2018 prepare
-rw-r--r-- 1 root root 482 2月 6 2018 NOTICE
-rw-r--r-- 1 root root 10771 2月 6 2018 LICENSE
-rwxr-xr-x 1 root root 5773 2月 6 2018 install.sh
drwxr-xr-x 3 root root 156 2月 6 2018 ha
-rw-r--r-- 1 root root 824398580 2月 6 2018 harbor.v1.4.0.tar.gz
-rw-r--r-- 1 root root 1140 10月 23 15:11 docker-compose.clair.yml
-rw-r--r-- 1 root root 1732 10月 23 15:12 docker-compose.notary.yml
-rw-r--r-- 1 root root 3396 10月 23 15:13 docker-compose.yml
drwxr-xr-x 4 root root 37 10月 23 15:17 common
-rw-r--r-- 1 root root 5968 10月 24 15:57 harbor.cfg
3、修改配置文件
（1）创建harbor工作目录，并准备ca证书，移动到harbor工作目录下
[root@ren8 ~]# ls
anaconda-ks.cfg cert.tar.gz k8saddons.tar.gz original-ks.cfg
bin docker kubernetes token.sh
bin.tar.gz k8saddons kubernetes.tar.gz yum-repo.sh
[root@ren8 ~]# tar xf cert.tar.gz
[root@ren8 ~]# mkdir -p /data/harbor
[root@ren8 ~]# cp -r cert /data/harbor
[root@ren8 ~]# cd /data/harbor/cert/
[root@ren8 cert]# ls -trl
总用量 24
-rw-r--r-- 1 root root 3272 9月 28 17:43 ca.key
-rw-r--r-- 1 root root 2130 9月 28 17:43 ca.crt
-rw-r--r-- 1 root root 3272 9月 28 17:49 harbor.key
-rw-r--r-- 1 root root 1756 9月 28 17:49 harbor.csr
-rw-r--r-- 1 root root 2013 9月 28 17:49 harbor.crt
-rw-r--r-- 1 root root 17 9月 28 17:49 ca.srl
（2）修改harbor主配置文件harbor.cfg
[root@ren8 cert]# cd /opt/harbor/
[root@ren8 harbor]# ls
common ha LICENSE
docker-compose.clair.yml harbor.cfg NOTICE
docker-compose.notary.yml harbor.v1.4.0.tar.gz prepare
docker-compose.yml install.sh
[root@ren8 harbor]# vim harbor.cfg
###################修改如下参数#####################
hostname = reg.yunwei.com
ui_url_protocol = https
ssl_cert = /data/harbor/cert/harbor.crt #ca证书名称必须与实践文件同名
ssl_cert_key = /data/harbor/cert/harbor.key #
secretkey_path = /data/harbor #ca证书的目录
harbor_admin_password = admin
（3）修改 docker-compose.clair.yml 编排文件
/data/harbor/clair-db:/var/lib/postgresql/data:z
（4）修改 docker-compose.notary.yml 编排文件
/data/harbor/notary-db:/var/lib/mysql:z
（5）修改 docker-compose.yml 编排文件
/data/harbor/:/var/log/docker/:z
/data/harbor/registry:/storage:z
/data/harbor/database:/var/lib/mysql:z
/data/harbor/config/:/etc/adminserver/config/:z
/data/harbor/secretkey:/etc/adminserver/key:z
/data/harbor/:/data/:z
/data/harbor/secretkey:/etc/ui/key:z
/data/harbor/ca_download/:/etc/ui/ca/:z
/data/harbor/psc/:/etc/ui/token/:z
/data/harbor/job_logs:/var/log/jobs:z
/data/harbor/secretkey:/etc/jobservice/key:z
4、安装、启动harbor
执行./install.sh（sh install.sh）脚本即可。
[root@ren8 harbor]# ls
common ha LICENSE
docker-compose.clair.yml harbor.cfg NOTICE
docker-compose.notary.yml harbor.v1.4.0.tar.gz prepare
docker-compose.yml install.sh
[root@ren8 harbor]# sh install.sh
验证harbor是否部署成功（必须在/opt/harbor/目录下执行）
[root@ren8 harbor]# docker-compose ps
Name Command State Ports
------------------------------------------------------------------------
harbor-adminserver /harbor/start.sh Up
harbor-db /usr/local/bin Up 3306/tcp
/docker-entr ...
harbor-jobservice /harbor/start.sh Up
harbor-log /bin/sh -c Up 127.0.0.1:1514->1051
/usr/local/bin/ ... 4/tcp
harbor-ui /harbor/start.sh Up
nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp
, 0.0.0.0:4443->4443
/tcp,
0.0.0.0:80->80/tcp
registry /entrypoint.sh serve Up 5000/tcp
/etc/ ...
5、各节点设置登录harbor私有镜像仓库（为各节点分发ca证书）
（1）在每个节点（包括harbor节点）的/etc/docker/目录下，创建certs.d/reg.yunwei.com/目录
[root@ren8 ~]# mkdir -p /etc/docker/certs.d/reg.yunwei.com/
（2）harbor节点上，将harbor的ca证书中的ca.crt拷贝到/etc/docker目录下
[root@ren8 ~]# cp /data/harbor/cert/ca.crt /etc/docker/certs.d/reg.yunwei.com/
（3）将harbor节点的ca.crt文件，分发给各节点的/etc/docker/certs.d/reg.yunwei.com/下
[root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren7:/etc/d
ocker/certs.d/reg.yunwei.com/
[root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren6:/etc/d
ocker/certs.d/reg.yunwei.com/
[root@ren8 ~]# scp /etc/docker/certs.d/reg.yunwei.com/ca.crt ren5:/etc/d
ocker/certs.d/reg.yunwei.com/
（4）harbor镜像库登录验证
1）命令行：各节点登陆镜像库地址后，输入用户名/密码（admin/admin）后出现 Login Succeeded
[root@ren7 ~]# docker login reg.yunwei.com
Username: admin
Password:
Login Succeeded
如果登录不上，可以修改配置文件 /etc/docker/daemon.json
[root@ren8 ~]# cat /etc/docker/daemon.json
{
"registry-mirrors": ["http://cc83932c.m.daocloud.io"],
"insecure-registries": ["192.168.11.7:5000"],
"insecure-registries": ["192.168.11.8"], #添加harbor节点的ip的安全认证
"max-concurrent-downloads": 10,
"log-driver": "json-file",
"log-level": "warn",
"log-opts": {
"max-size": "10m",
"max-file": "3"
}
}
[root@ren8 ~]# systemctl daemon-reload
[root@ren8 ~]# systemctl restart docker
四、上传镜像到harbor私有镜像仓库
1、本地镜像重新打tag
docker tag SOURCE_IMAGE[:TAG] reg.yunwei.com/learn/IMAGE[:TAG]
2、将重新打好tag的镜像上传到镜像库
如果在推送镜像时，被拒绝（denied: requested access to the resource is denied），是因为没有docker login 登陆harbor镜像库。
docker push reg.yunwei.com/learn/IMAGE[:TAG]
3、其它节点配置好了ca证书的ca.crt文件后，便可执行如下命令下载镜像。在kubernetes集群中节点中启动pod时，会自动下载镜像
docker pull reg.yunwei.com/learn/busybox:latest
五、harbor启动和停止
进入到harbor目录下，拥有docker-compose.yml的文件目录下执行如下的命令启动和关闭：
[root@ren8 harbor]# docker-compose start
[root@ren8 harbor]# docker-compose restart
[root@ren8 harbor]# docker-compose stop
[root@ren8 harbor]# docker-compose rm
六、harbor各组件介绍
默认情况下，harbor运行起来后有如下容器：
[root@ren8 harbor]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d82eb9967cc3 vmware/harbor-jobservice:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-jobservice
5e8849eaf757 vmware/nginx-photon:v1.4.0 "nginx -g 'daemon of…" 46 hours ago Up 2 hours 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp nginx
6e4a776103b5 vmware/harbor-ui:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-ui
eff0c2c84df6 vmware/harbor-adminserver:v1.4.0 "/harbor/start.sh" 46 hours ago Up 2 hours (healthy) harbor-adminserver
ca862377182c vmware/registry-photon:v2.6.2-v1.4.0 "/entrypoint.sh serv…" 46 hours ago Up 2 hours (healthy) 5000/tcp registry
f37bb2d03d39 vmware/harbor-db:v1.4.0 "/usr/local/bin/dock…" 46 hours ago Up 2 hours (healthy) 3306/tcp harbor-db
d9f6ccc5d821 vmware/harbor-log:v1.4.0 "/bin/sh -c /usr/loc…" 46 hours ago Up 2 hours (healthy) 127.0.0.1:1514->10514/tcp harbor-log
分别为nginx，harbor-jobservice，harbor-ui，harbor-adminserver，registry，harbor-db，harbor-log，由上我们可以得出下面的架构图：
Harbor是通过docker compose来部署的，这也是为什么在装Harbor之前，需要安装docker-compose。各个模块的详细介绍如下：
1、Proxy：对应启动组件nginx,是一个nginx反向代理，Harbor的registry,UI,token services等组件,都处在一个反向代理后边,该代理负责将来自浏览器,docker clients的请求转发到后端服务上
2、Registry：对应启动组件registry.负责存储Docker镜像文件,以及处理Docker的push,pull等请求.Harbor对镜像进行强制的访问控制,Registry会将客户端的每个pull,push请求转发到token服务来获取有效的token.
3、Core services：Harbor的核心功能,主要包括3个服务:UI,Job services和Log collector.
（1）UI：对应启动组件harbor-ui.以图像用户界面的方式,辅助用户管理镜像,我个人觉得这样使得使用Harbor时,更加友好.
（2）Job services：对应启动组件harbor-jobservice,主要用于镜像复制,和registry通信,本地镜像可以push到Harbor镜像仓库中,同样也可以从Harbor镜像仓库中pull到本地,同时记录job_log.
（3）Log collector：对应启动组件harbor-log.负责收集其他模块的日志到一个地方
4、Database：对应启动组件harbor-db.负责存储project,user,role,replication等的metadata数据.
5、adminserver：对应启动组件harbor-adminserver.是系统的配置管理中心,当ui和jobserver启动时,需要加载adminserver的配置