快速搭建云原生开发环境(k8s+pv+prometheus+grafana)

时间:2022-11-05 19:51:09

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

本篇概览

  • 欣宸正在为接下新的Java云原生实战系列原创做准备,既然是实战,少不了一套云原生环境,以下内容是必不可少的:
  1. linux操作系统
  2. kubernetes
  3. kubernetes的外部存储,平时数据库、监控、消息这些中间件的数据不可能放在容器内,需要有个可靠的地方存起来不丢失
  4. 监控
  • 一番操作下来,轻松完成了上述工作,这里将整个过程记录定下来,这样可以保证每次重装都能轻松愉快的完成,省下的时间用来写更多的技术原创

版本信息

  • 本次安装的版本信息如下,供您参考
  1. 操作系统:CentOS 7.6 (腾讯云轻应用服务器)
  2. kubernetes:1.22 (底层容器服务是docker)
  3. prometheus:2.32.1
  4. grafana:8.3.3

初始化

  • CentOS操作系统的安装就不在这里讲了,接下来的操作假设您已装好纯净的CentOS系统
  • 本文中的操作都是用root账号执行的
  • 安装ssh服务
sudo yum install openssh-server -y
  • 修改root密码
sudo passwd root
  • 修改ssh配置,允许root远程登录,文件是/etc/ssh/sshd_config,注意下图两个箭头指向的配置,确保您的值与之一致
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 安装常用软件:
yum install redhat-lsb lrzsz wget -y
  • 关闭防火墙
systemctl stop firewalld && \
systemctl disable firewalld && \
setenforce 0
  • 接下来可以安装k8s了,如果网速正常,可以采用k8s安装(在线下载镜像和文件)章节的方法,如果网络太慢,或者像我这样使用腾讯云服务器时发现下载文件太慢,可以采用k8s安装(使用离线的镜像和文件)章节的方法

k8s安装(在线下载镜像和文件)

  • 为了简单省事儿,本次打算使用sealos安装K8S单机版,底层容器是docker
  • 下载sealos,地址是:https://github.com/labring/sealos/releases/download/v4.1.3/sealos_4.1.3_linux_amd64.tar.gz
  • 解压并存放到指定位置
tar -zxvf sealos_4.1.3_linux_amd64.tar.gz sealos &&  chmod +x sealos && mv sealos /usr/bin
  • 然后一行命令安装k8s
sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single
  • 等待三分钟左右,K8S单机版安装完成,控制台输出如下
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 查看系统pod,一切正常
[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s
  • 由于是单机版,需要去除污点才能使用,执行以下命令
kubectl taint nodes --all node-role.kubernetes.io/master-

k8s安装(使用离线的镜像和文件)

  • 如果您通过上面一段的操作顺利装好k8s,那么这一段内容可以直接跳过
  • 我用的是腾讯云轻应用服务器,在安装过程中发现下载sealos的文件非常慢,于是使用了以下方法来提升安装速度,如果您遇到了同样问题也可以参考这种方法
  • 为了简单省事儿,本次打算使用sealos安装K8S单机版,底层容器是docker
  • 在CSDN下载四个文件,它们的下载地址如下,下载后存放在CentOS服务器上的同一个目录下(不要积分,免费下载):
  1. https://download.csdn.net/download/boling_cavalry/86908222
  2. https://download.csdn.net/download/boling_cavalry/86908229
  3. https://download.csdn.net/download/boling_cavalry/86908433
  4. https://download.csdn.net/download/boling_cavalry/86908647
  • 确认一下,四个文件名依次是:sealos_4.1.3_linux_amd64.tar.gz、helm.tar、calico.tar、kubernetes.tar
  • ssh进入上述四个文件的存放目录
  • 首先是操作sealos_4.1.3_linux_amd64.tar.gz文件
tar zxvf sealos_4.1.3_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin
  • 再用sealos工具加载其他三个文件
sealos load -i kubernetes.tar
sealos load -i helm.tar
sealos load -i calico.tar
  • 此时,再执行以下命令安装k8s
sealos run labring/kubernetes-docker:v1.22.8-4.1.3 labring/helm:v3.8.2 labring/calico:v3.24.1 --single
  • 等待三分钟左右,K8S单机版安装完成,控制台输出如下
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 查看系统pod,一切正常
[root@VM-12-12-centos k8s]# kubectl get pods -A
NAMESPACE          NAME                                       READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-67b7856948-bg2wh          1/1     Running   0          12s
calico-apiserver   calico-apiserver-67b7856948-fz64n          1/1     Running   0          12s
calico-system      calico-kube-controllers-78687bb75f-z2r7m   1/1     Running   0          41s
calico-system      calico-node-l6nmw                          1/1     Running   0          41s
calico-system      calico-typha-b46ff96f6-qqzxb               1/1     Running   0          41s
calico-system      csi-node-driver-lv2g2                      2/2     Running   0          21s
kube-system        coredns-78fcd69978-57r7x                   1/1     Running   0          47s
kube-system        coredns-78fcd69978-psjcs                   1/1     Running   0          46s
kube-system        etcd-vm-12-12-centos                       1/1     Running   0          60s
kube-system        kube-apiserver-vm-12-12-centos             1/1     Running   0          61s
kube-system        kube-controller-manager-vm-12-12-centos    1/1     Running   0          62s
kube-system        kube-proxy-x8nhg                           1/1     Running   0          47s
kube-system        kube-scheduler-vm-12-12-centos             1/1     Running   0          60s
tigera-operator    tigera-operator-6f669b6c4f-t8t9h           1/1     Running   0          46s
  • 由于是单机版,需要去除污点才能使用,执行以下命令
kubectl taint nodes --all node-role.kubernetes.io/master-

安装本地pv

  • 本地pv的作用是给所有pvc提供存储空间
  • 实测发现,安装本地pv的过程中,有两个镜像经常会拉取失败,建议您先下载tar到服务器,在服务器上通过docker load命令加载后再部署本地pv
  • 请在CSDN下载两个镜像的tar文件,地址如下(不要积分,免费下载)
  1. https://download.csdn.net/download/boling_cavalry/86908763 (下载后是个zip,解压后,文件夹里面才是真正的tar)
  2. https://download.csdn.net/download/boling_cavalry/86908874 (下载后是个zip,解压后,文件夹里面才是真正的tar)
  • 上述文件上传到CentOS,执行以下命令加载两个镜像
docker load < busybox.tar
docker load < local-pv.tar
  • 下载本地pv的配置文件,地址是:https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.22/deploy/local-path-storage.yaml
  • 然后打开此文件,做以下四步操作
  • 第一,如下图,删除debug哪一行
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 第二,找到reclaimPolicy,将其值从Delete改为Retain
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 第三,增加下面这句,使当前storageclass成为默认的storageclass
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 第四,修改下图红色箭头位置,指向您自己电脑为pv准备的位置
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 设置完毕后,执行命令kubectl apply -f local-path-storage.yaml即可完成本地pv的创建
  • 如下图红色箭头,新增的pv的pod
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 此时,k8s环境中的pvc,都可以使用storageClass=local-path来使用本地磁盘了

安装Prometheus+Grafana(下载配置文件)

  • 接下来会用operator的方式部署Prometheus+Grafana,这是一种非常简单使用的方法
  • 有几个镜像下载会超时,因此改为下载国内镜像,然后用tag命令改为同名镜像即可,命令如下:
docker pull docker.io/willdockerhub/prometheus-adapter:v0.9.1

docker tag docker.io/willdockerhub/prometheus-adapter:v0.9.1 k8s.gcr.io/prometheus-adapter/prometheus-adapter:v0.9.1

docker pull bolingcavalry/kube-state-metrics:v2.3.0

docker tag bolingcavalry/kube-state-metrics:v2.3.0 k8s.gcr.io/kube-state-metrics/kube-state-metrics:v2.3.0
  • 现在要下载operator的配置文件了, 打开Prometheus operator的GitHub主页,首先确认自己的kubernetes版本应该使用哪个版本的Prometheus operator,如下图,我这里的kubernetes是1.22版本,因此使用的operator应该是release-0.9或者release-0.10
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 在operator的release页面,找到release-0.10版本点击下载
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)

安装Prometheus+Grafana(修改配置文件:对外暴露服务)

  • 接下来对下载的配置文件做些修改

  • 首先是修改Grafana的service文件,因为默认的service是ClusterIP类型,无法从kubernetes外部访问的,这里改成集群外也可以访问service,打开文件kube-prometheus-0.10.0/manifests/grafana-service.yaml,新增箭头所指的两行,注意31330端口是我随便找的一个可用端口,您也可以随意,在30000-32767之间即可
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)

  • 如果想通过外部访问prometheus,可以用上述同样的方法修改prometheus-service.yaml文件

  • 另外,如果您像我一样是将服务部署在云上(我这里是腾讯云),就涉及到公网IP的使用,请查找文件grafana-networkPolicy.yaml,如果有就删除(0.10.0-release版本没有这个文件),如果不删除,就无发通过公网IP访问grafana

  • 对于prometheus也是一样,如果想从公网IP访问prometheus,需要删除文件prometheus-networkPolicy.yaml

安装Prometheus+Grafana(配置外部存储)

  • 解决了外部访问的问题,接下来是存储问题了,如果不将Prometheus和grafana的数据保存在容器外部的话,只要pod被删,数据就丢失了,这在很多场景下是不可接受的
  • 既然前面咱们已经准备好了pv,那么这里就可以把prometheus和grafana的存储改为pvc,让它们的数据保存在pv上
  • 首先修改prometheus的存储配置,打开文件prometheus-prometheus.yaml,如下图,红框内是新增内容(稍后我会把文字贴出来便于复制)
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 上图红框中的内容如下
  storage:
    volumeClaimTemplate:
      spec:
        storageClassName: local-path
        resources:
          requests:
            storage: 10Gi
  • 接着是grafana的存储,进入目录kube-prometheus-0.10.0/manifests/setup,新增名为grafana-pvc.yaml的文件,内容如下:
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: grafana
  namespace: monitoring
spec:
  storageClassName: local-path
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 10Gi
  • 然后还要修改deployment配置,打开文件grafana-deployment.yaml,找到下图红色箭头所指内容
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 替换成下图红框中的内容
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)

安装Prometheus+Grafana(数据采集权限)

  • 需要给足prometheus权限,这样它才能采集到用于展示的数据,打开文件prometheus-clusterRole.yaml,新增一些权限配置,修改完毕后的完整内容如下所示,新增的位置主要在resources和varbs两处
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    app.kubernetes.io/component: prometheus
    app.kubernetes.io/instance: k8s
    app.kubernetes.io/name: prometheus
    app.kubernetes.io/part-of: kube-prometheus
    app.kubernetes.io/version: 2.32.1
  name: prometheus-k8s
  namespace: monitoring
rules:
- apiGroups:
  - ""
  resources:
  - nodes/metrics
  - services
  - endpoints
  - pods
  verbs:
  - get
  - list
  - watch
- nonResourceURLs:
  - /metrics
  verbs:
  - get
  • 再执行以下操作,给prometheus增加管理员身份(可酌情选择)
kubectl create clusterrolebinding kube-state-metrics-admin-binding \
--clusterrole=cluster-admin  \
--user=system:serviceaccount:monitoring:kube-state-metrics
  • 至此,配置已经修改完成,可以启动了

安装Prometheus+Grafana(安装和启动)

  • 启动过程分为两步:先安装再启动
  • 首先,回到prometheus/kube-prometheus-0.10.0目录,执行以下命令开始安装
kubectl apply --server-side -f manifests/setup
  • 可能会遇到以下提示,我这边放心起见重复执行了一次安装命令,就没有此错误了
Error from server (NotFound): namespaces "monitoring" not found
  • 接下来可以启动了,执行以下命令
kubectl apply -f manifests/
  • 查看pod情况,如下图,大部分pod创建得很快,也有一两个稍微慢一点的,实测两三分钟可以全部ready
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 再去看看数据卷使用情况,如下图,已经分配好三个了
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 最后,如果您用的是云服务器,记得在公网放开端口,我这边是腾讯云服务器,放开方式如下图
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)

访问grafana

  • 现在可以访问grafana了,输入IP:端口,会提示输入账号密码,默认的账号密码都是admin
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 登录成功后会提示修改初始密码,按照提示操作即可
  • 然后就进入grafana页面了,里面已经内置了很多监控数据,这里挑一个物理服务器信息的监控数据看看,如下图
    快速搭建云原生开发环境(k8s+pv+prometheus+grafana)
  • 再去看看给pv使用的服务器磁盘,如下所示,已经创建了三个文件夹,都是容器在用的
[root@VM-12-12-centos local-path-provisioner]# pwd
/opt/local-path-provisioner
[root@VM-12-12-centos local-path-provisioner]# ls -al
total 20
drwxr-xr-x  5 root root 4096 Nov  5 10:02 .
drwxr-xr-x. 7 root root 4096 Oct 31 08:29 ..
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-0b8b93ae-944c-4433-a904-71c00d65c8ad_monitoring_prometheus-k8s-db-prometheus-k8s-0
drwxrwxrwx  6 root root 4096 Nov  5 10:53 pvc-9a5dccda-673f-4db8-a64e-baf4df5006cf_monitoring_grafana
drwxrwxrwx  3 root root 4096 Nov  5 10:06 pvc-bccf40a7-59a5-4472-a6a3-65f4898255d6_monitoring_prometheus-k8s-db-prometheus-k8s-1
  • 至此,k8s+pv+prometheus+grafana环境已经搭建完成,这样的环境离生产环境还差得远,但是作为日常开发和测试已经基本合格,如果您对云原生感兴趣,想要简单快速的从零开始搭建一套环境用于学习和研发,希望本文能给您提供一些参考

  • 编写本文时,有些操作步骤参考了这位大佬的,在此表示感谢:http://www.javajun.net/posts/5019/index.html

你不孤单,欣宸原创一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 数据库+中间件系列
  6. DevOps系列