docker容器遇见的问题 error: grpc: the connection is unavailable"

时间:2024-04-07 08:21:09

 

问题描述:


在使用docker部署一套zabbix监控服务之后,在早上打开zabbix主页是报错,显示无法访问到mysql数据库,报错如下:
docker容器遇见的问题 error: grpc: the connection is unavailable"

首先根据提示的信息,肯定是zabbix的对应的mysql数据库有问题,然后通过docker ps去查一下

发现mysql的容器是运行的状态


检查发现mysql竟然是运行的,然后去查检查系统的CPU和内存的使用情况,发现没有问题的。
然后使用docker exec -it docker_id /bin/bash
发现报错:
error: rpc error: code = 14 desc = grpc: the connection is unavailable"
具体就是rpc连接不可用,

然后就是检查一下docker容器的日志,通过docker logs -f id
显示正常没有发现异常,但是时间的截止点是凌晨的00点时候就没有了,

然后直接重启了容器但是还是报错,显示如下:

start returned error: grpc: the connection is unavailable"



然后根据网上的报错去查,发现都有遇见了但是,大部分是防火墙开启了,
检查一下发现防火墙没有开启。

然后直接就重启了docker服务。发现还是启动不了zabbix的容器,然后去分析一下message的日志,发现在00凌晨的时候mysql容器
被直接杀掉了,
发现在凌晨的时候就报错了

Dec 25 00:55:21 logapp2 journal: 167:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21logapp2 journal: 175:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 175:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 160:20191225:005521.734 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)
Dec 25 00:55:21 logapp2 journal: 161:20191225:005521.735 database is down: reconnecting in 10 seconds
Dec 25 00:55:21 logapp2 journal: 166:20191225:005521.736 [Z3001] connection to database 'zabbix' failed: [2003] Can't connect to MySQL server on 'mysql-server' (111)


往上翻日志发现是mysql被杀掉了
Dec 25 00:55:21 logapp2 kernel: Out of memory: Kill process 28169 (mysqld) score 28 or sacrifice child
Dec 25 00:55:21 logapp2 kernel: Killed process 28169 (mysqld) total-vm:2654536kB, anon-rss:467868kB, file-rss:0kB, shmem-rss:0kB
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281207 [Note] Aborted connection 1281207 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)
Dec 25 00:55:21 logapp2 journal: 2019-12-24T16:55:17.788571Z 1281212 [Note] Aborted connection 1281212 to db: 'zabbix' user: 'zabbix' host: '146.12.64.77' (Got an error reading communication packets)

然后使用Linux查看杀死进程的查看日志命令确认一下是不是被系统给杀掉了
# egrep -i -r ‘killed process’ /var/log和# dmesg|grep memory
docker容器遇见的问题 error: grpc: the connection is unavailable"


注:在重新启动docker服务的时候,需要释放一下内存。

然后将docker服务对应的进程杀死掉,然后重新启动docker服务,最后启动zabbix容器就可以了,
使用docker logs -f mysql_id 查看mysql容器的日志,发现一直在刷日志。并且zabbix主页也可以打开了

所以可以基本确定是内存不足导致OOM Killer杀掉了mysql进程

到这里的时候就一个疑问了就是系统为什么会把mysql进程给kill掉呢???
可以参考内核的源码linux/mm/oom_kill.c,里面的oom_badness方法,方法注释中说了,调出最耗内存的进程杀掉,如下图,我们的机器上mysql占用了最大的内存,所以就被杀掉了
docker容器遇见的问题 error: grpc: the connection is unavailable"


docker容器遇见的问题 error: grpc: the connection is unavailable"

以上就是自身亲自遇见的问题,希望可以帮助您。