使用Docker快速部署ELK分析Nginx日志实践

时间:2022-09-28 08:16:46

原文:使用Docker快速部署ELK分析Nginx日志实践

一、背景

笔者所在项目组的项目由多个子项目所组成,每一个子项目都存在一定的日志,有时候想排查一些问题,需要到各个地方去查看,极为不方便,此前听说有ELK这种神器,搜索了一下,发现利用docker搭建似乎并不麻烦,于是进行了一番尝试,结果还比较顺利,将此过程完整记录下来,希望留给有需要的读者进行参考。

笔者这次实践的过程当中参考了较多的文档与笔记,参考的链接地址有:

Docker ElK安装部署使用教程

Docker Hub官网

Docker ELK使用文档

二、操作概要

  1. 服务安装与运行
  2. 数据导入与校验
  3. 绘图配置与展示

三、服务安装与运行

安装ELK有很多种方式,比如源码、rpm包,或docker;不过docker又分为了单个安装与ELK打包安装,笔者这里是通过docker打包安装,因为这样的方式相比来说最为简单,因为只需要下载镜像,然后运行起来就可以了

3.1 镜像下载

ELK镜像已经被docker官方收录,因此只需要简单的命令即可拉取到镜像;但考虑到ELK镜像比较大,在拉取过程当中存在比较慢的情况,因此笔者使用了阿里云的加速器来提速;笔者使用的是MAC版本的docker,参考配置方法如下:

3.1.1 镜像加速

右键点击桌面顶栏的 docker 图标,选择 Preferences ,在 Daemon 标签下的 Registry mirrors 列表中将 https://k0pf39f8.mirror.aliyuncs.com加到registry-mirrors的数组里,点击 Apply amp; Restart按钮,等待Docker重启并应用配置的镜像加速器,如下截图

使用Docker快速部署ELK分析Nginx日志实践

3.1.2 镜像获取

设置好加速地址之后,笔者就可以开始拉取ELK镜像,参考命令如下:

docker pull sebp/elk

笔者当前镜像laster对应的版本为6.2.4,如果读者以后看到此文章,在搭建的时候遇到一些问题,可以在命令后面加上:6.2.4来指定该版本,减少意外产生;

下载镜像之后可以使用docker的命令来验证是否成功,参考命令如下:

docker images

笔者执行后docker返回结果如下

REPOSITORY     TAG                 IMAGE ID            CREATED             SIZE
sebp/elk latest c916150705cc 2 weeks ago 1.49GB

在结果当中可以看出,ELK镜像已经下载下来,占用了将近1.5GB空间

3.2 容器运行

运行此容器的时候,需要将宿主机的端口转发到该容器,其中ES端口为9200,kibana端口为5601,logbate端口为5044;另外笔者建议将配置文件和数据存放在宿主机,便于后期维护,因此还需要将宿主机目录挂载到容器/data当中;最后构造的命令如下:

docker run -p  5601:5601 -p 9200:9200 -p 5044:5044  -v /Users/song/dockerFile:/data -it -d --name elk sebp/elk

笔者在运行容器的参数当中加入了后台运行-d参数,这样笔者就不怕误操作突然把容器停止了,但放置于后台运行,ELK的服务器启动过程是不可见的,这个启动时间根据你机器的性能所决定,笔者电脑大约在10秒钟左右;如果觉得启动失败,也可以将该容器删除,然后重新创建一个容器,上述命令中的-d删除即可看到启动过程。

3.3 数据导入与校验

容器运行之后,笔者需要验证是否启动成功,可以通过浏览器访问kibana和ES的页面是否成功来判断。

3.3.1 检查Kibana

通过浏览器访问kibana,如果正常出现界面,则代表启动成功,URL地址如下:

http://localhost:5601/

当浏览器访问成功之后,参考如下图所示:

使用Docker快速部署ELK分析Nginx日志实践

3.3.2 ES服务检查

验证kibana启动成功之后,接着继续验证ES服务是否启动成功,URL地址如下

http://localhost:9200/_search?pretty

访问之后,此时ES里面应该是没有数据的,出现的界面如下

使用Docker快速部署ELK分析Nginx日志实践

四、配置与验证

在保证es和kibana服务启动完成之后,笔者还需要进行一些数据导入步骤

4.1 logstash配置

logstash配置主要有三个地方要处理,首先是输入源在什么位置,然后是对数据进行过滤或者格式化,最后是需要将数据输出到什么地方;笔者在下方的配置只做了其中两项,因为在nginx日志当中已经将日志格式化了,编辑配置文件命令参考如下:

vim /Users/song/dockerFile/config/logstash.yml

配置文件内容参考如下

input {
file {
path =gt; quot;/data/logs/access.logquot;
codec =gt; quot;jsonquot;
}
}
output {
elasticsearch { hosts =gt; [quot;127.0.0.1:9200quot;] }
stdout { codec =gt; rubydebug }
}

在配置文件当中,可以看到日志文件存放的位置在 quot;/data/logs/access.logquot;当中,输出的地址是127.0.0.1:9200,这是本机的ES服务

4.2 nginx日志格式

因为笔者对logstash的配置文件语法不太熟悉,在里面写过滤器和筛选项比较费时间,所以选择直接更改nginx中的日志格式,将nginx的日志文件设置为json格式,在更改nginx配置文件之前,需要获取nginx配置文件路径,参考如下命令

sudo nginx -t

返回结果

Password:
nginx: the configuration file /usr/local/etc/nginx/nginx.conf syntax is ok
nginx: configuration file /usr/local/etc/nginx/nginx.conf test is successful

在返回的结果当中已经可以看到配置文件所在的位置,使用vim编辑配置文件,参考命令

vim /usr/local/etc/nginx/nginx.conf

在http级别下增加自定义日志格式,和日志路径,参考配置如下:

log_format  json #39;{quot;@timestampquot;:quot;$time_iso8601quot;,
quot;@versionquot;:quot;1quot;,quot;hostquot;:quot;$server_addrquot;,
quot;clientquot;:quot;$remote_addrquot;, quot;sizequot;:quot;$body_bytes_sentquot;,
quot;responsetimequot;:quot;$request_timequot;,
quot;domainquot;:quot;$hostquot;,quot;urlquot;:quot;$uriquot;,quot;statusquot;:quot;$statusquot;}#39;; access_log /data/logs/access.log json;

笔者配置截图如下所示

使用Docker快速部署ELK分析Nginx日志实践

4.3 启动logstash

前面已经将日志格式与logstash配置好,现在笔者需要启动logstash开始收集日志,启动logstash之前需要先进入容器里面,进入容器参考命令如下:

docker exec -it elk bash

进入容器之后,笔者需要启动logstash来收集数据,启动的时候需要带两个参数进去,第一个是logstash的数据暂存位置,第二个是使用的配置文件,因此构造的命令如下所示:

/opt/logstash/bin/logstash --path.data /tmp/logstash/data -f /data/config/logstash.conf

4.4 添加数据

现在只要nginx产生日志,logstash就会实时将日志发送到ES服务当中,在发送数据时,终端窗口也会发生变化,如下图所示

使用Docker快速部署ELK分析Nginx日志实践

五、 绘图配置与展示

当数据导入之后,笔者才可以使用kibana的图形化来查看数据了,所以首先确认一下ES中是否有数据,确认有数据后就可以进行绘图配置,配置完成之后就可以进行筛选日志等操作了。

5.1 ES数据检查

当数据添加到ES服务器当中后,笔者可以通过ES服务提供的URL来查看其中的数据,URL地址如下所示:

http://localhost:9200/_search?pretty

就会看到笔者刚刚输入的日志内容,如下图所示

使用Docker快速部署ELK分析Nginx日志实践

当看到total数量变大,并在下面的数据项中看到了nginx日志信息时,则代表笔者导入数据成功了。

5.2 kibana索引配置

通过浏览器访问kibana,URL地址如下

http://127.0.0.1:5601/app/kibana#/management/kibana/index?_g=()

使用Docker快速部署ELK分析Nginx日志实践

点击左侧导航栏的Discover链接,便可进入创建索引模式界面,如下图所示

使用Docker快速部署ELK分析Nginx日志实践

点击页面右下方的next按钮,会跳转到下一个页面,在此页面还需要选择一个时间维度,如下图所示

使用Docker快速部署ELK分析Nginx日志实践

在此点击下一步,便创建kibana的索引完成,此时再次点击左侧导航栏的Discover链接,便可以看到刚才创建索引的一些视图,如下图所示

使用Docker快速部署ELK分析Nginx日志实践

在图中有一个input输入框,笔者可以在里面填写筛选所需要的关键词;如果没有筛选出结果,也可检查左侧的时间筛选项是否设置正确,如笔者的时间筛选项设置的是Today,也就代表筛选当天的数据。

ELK的整体操作流程比较简单,首先是logstash收集各种日志并进行过滤,然后将过滤后的内容发送到ES服务中,最后用户通过Kibana的页面查看ES中的日志数据;


作者:汤青松

微信:songboy8888

日期:2018-08-25