RabbitMQ + ELK 搭建日志平台

时间:2024-04-14 13:39:34

ELK实战系列3-RABBITMQ+ELK搭建日志平台

本文记录了一次日志平台的搭建。主要场景如下:

1. 应用将日志发送给RabbitMQ

2. Logstash连接到RabbitMQ抽取日志

3. Logstash将抽取的日志内容做一些加工,然后存入到Elasticsearch中

4. Kibana连接到Elasticsearch,提供日志查询、展现等功能。

整个过程图形表示如下:

RabbitMQ + ELK 搭建日志平台

1.先下载要用到的Docker镜像文件

  1. [[email protected] pipeline]# docker images
  2. REPOSITORY TAG IMAGE ID CREATED SIZE
  3. rabbitmq 3.6-management f2e38e79371c 2 months ago 149MB
  4. docker.elastic.co/logstash/logstash 6.2.4 00a38ba5444c 3 months ago 657MB
  5. docker.elastic.co/kibana/kibana 6.2.4 327c6538ba4c 3 months ago 933MB
  6. docker.elastic.co/elasticsearch/elasticsearch 6.2.4 7cb69da7148d 3 months ago 515MB

注意,rabbitmq是从docker官方镜像仓库拉取的:https://store.docker.com/images/rabbitmq

Elasticsearch相关的3个镜像是从Elasticsearch官网拉取的:https://www.docker.elastic.co/

2.准备容器编排文件

这里用到的docker-compose来编排容器,文件如下:

  1. [email protected]:~/elk# cat docker-compose.yml
  2. version: '2'
  3. services:
  4. rabbitmq:
  5. image: rabbitmq:3.6-management
  6. ports:
  7. - "5672:5672"
  8. - "15672:15672"
  9. container_name:
  10. rabbitmq-ichub
  11. hostname:
  12. rabbitmq-ichub
  13. environment:
  14. - "RABBITMQ_DEFAULT_USER=dev"
  15. - "RABBITMQ_DEFAULT_PASS=123456"
  16.  
  17. elasticsearch:
  18. image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
  19. ports:
  20. - "9200:9200"
  21. - "9300:9300"
  22. container_name:
  23. elasticsearch
  24. environment:
  25. - "xpack.security.enabled=false"
  26. - "discovery.type=single-node"
  27. - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  28.  
  29. kibana:
  30. image: docker.elastic.co/kibana/kibana:6.2.4
  31. container_name:
  32. kibana
  33. depends_on:
  34. - elasticsearch
  35. ports:
  36. - "5601:5601"
  37. links:
  38. - elasticsearch
  39. environment:
  40. - "xpack.security.enabled=false"
  41.  
  42. logstash:
  43. image: docker.elastic.co/logstash/logstash:6.2.4
  44. container_name:
  45. logstash
  46. depends_on:
  47. - elasticsearch
  48. - rabbitmq
  49. ports:
  50. - "25826:25826"
  51. links:
  52. - elasticsearch
  53. - rabbitmq
  54. volumes:
  55. - $PWD/logstashpipeline:/usr/share/logstash/pipeline

这里要注意的是,创建rabbitmq容器必须指定hostname参数,因为此镜像是基于NodeName(默认等于hostname)来存储数据的。

loastash容器,我们通过卷指定了配置文件的路径,从而控制容器使用我们的管道配置文件。

另外,这里也指定了depends_on参数,因为容器之间存在依赖项,比如要等RabbitMQ容器起来之后,Logstash容器才能连接到队列上。所以Logstash容器需要依赖RabbitMQ容器。

3.配置logstash从rabbitmq抽取数据。

  1. [email protected]:~/elk# cat logstashpipeline/rabbitmq.conf
  2. input{
  3. rabbitmq {
  4. host => "rabbitmq"
  5. exchange => "ichub_log_exchange"
  6. exchange_type => "topic"
  7. key => "#"
  8. queue => "ichub_log"
  9. heartbeat => 30
  10. durable => true
  11. password => "123456"
  12. user => "dev"
  13. codec => "plain"
  14. }
  15. }
  16.  
  17. filter {
  18. grok{
  19. match => {"message" => "%{TIMESTAMP_ISO8601:logtime} %{NUMBER:pid} %{WORD:level} (?<dbname>\S*) %{USERNAME:modul}: %{GREEDYDATA:msgbody}"}
  20. }
  21. date {
  22. match => [ "logtime", "YYYY-MM-dd HH:mm:ss,SSS" ]
  23. target => "@timestamp"
  24. }
  25. }
  26.  
  27. output
  28. {
  29. elasticsearch {
  30. hosts => "elasticsearch:9200"
  31. index => "ichub_prod-%{+YYYY.MM.dd}"
  32. }
  33. }

其实主要的工作就在这里,分为三块。input配置数据来源,filter过滤数据,output将数据传输给Elasticsearch。

input

这里用到了logstash的rabbitmq的输入插件,其详细的配置文件在这里

值得注意的是,这个插件默认的解码器用的是JSON,因为我们的日志是一行一行的文本,字段之间用空格分割,所以这里配置的codec是plain。

另外,这里明确的指定了rabbitmq的exchange、exchange_type、key,这样logstash启动的时候会连接到RabbitMQ,并自动创建交换器及队列。

filter

这里用到了grok来解析日志。因为我们的时间格式不是默认支持的,所以用到了data插件来专门解析时间,并将解析的时间覆盖到@timestamp字段,作为Elasticsearch的时间索引字段。

由于我们的日志中数据库名这个字段,可能是一个问号“?”,所以不能用默认的WORD模式,这里我用了正则表达式来匹配数据库名。

这里需要解释下日志解析的模式:%{TIMESTAMP_ISO8601:timestap} %{NUMBER:pid} %{WORD:level} (?<dbname>\S*) %{USERNAME:modul}: %{GREEDYDATA:msgbody}

TIMESTAMP_ISO8601:匹配时间

NUMBER:匹配数字

WORD:匹配单词

(?<dbname>\S*):匹配一个不包含非空字符的字符串,本场景主要匹配:ic_new,?这两种情况。

GREEDYDATA:匹配剩下的所有内容

USERNAME:匹配由字母、数字、句点、下划线和横杠组成的字符串。

更多Grok匹配模式

在用到grok解析日志时,可以使用Kibana自带的grok调试工具

RabbitMQ + ELK 搭建日志平台

也可以用在线的Grok调试工具

RabbitMQ + ELK 搭建日志平台

output

这里配置为输出到Elasticsearch服务器,并指定了index的名字,固定字符串开头,根据日期每天创建一个索引。

注意,如果遇到问题,可以将数据输出到控制台,方便定位问题:

  1. output
  2. {
  3. stdout {
  4. codec => dots
  5. }
  6. elasticsearch {
  7. hosts => "elasticsearch:9200"
  8. index => "ichub-%{+YYYY.MM.dd}"
  9. }
  10. }

这样我们配置了2个输出,一个输出到控制台,一个输出到Elasticsearch。控制台会有如下信息:

RabbitMQ + ELK 搭建日志平台

4.创建并启动容器

  1. # docker-compose up -d

调试的时候,可以连接到logstash容器去查看实时的日志:

  1. # docker logs -f logstash

5.在Kibana中配置索引,查询日志。

RabbitMQ + ELK 搭建日志平台

打开索引创建页面,如果logstash已经开始传输数据,就能看到我们在配置文件中指定的索引了。

RabbitMQ + ELK 搭建日志平台

配置好索引后,即可在Discover页面查询到日志数据。

RabbitMQ + ELK 搭建日志平台

 

相关参考:

[运维]ELK实现日志监控告警

https://blog.****.net/yeweiouyang/article/details/54948846

启发:ElastAlert配置为必要时刻执行一段python脚本,用于发送告警短信及邮件即可