ELK学习实验013：ELK的一个完整的配置操作

前面做了关于ELK组件的各个实验，但是并没有真正的把各个组件结合起来做一个实验，现在使用一个脚本简单的生成日志，模拟生产不断产生日志的效果

一流程说明

使用脚本产生日志，模拟用户的操作

日志的格式

[INFO]  -- :: [cn.success.dashboard.Main] -DAU||使用优惠卷|-- ::

日志的格式时"DAU" + userID + "|" + visit + "|" +date

通过Filebeat读取日志文件的内容，并将内容发送给Logstash，，原因时需要对内容做处理

Logstash接收到内容后，进行处理，如分割操作，然后将内容发送到 Elasticsearch中

Kiana会读取 Elasticsearch中的数据，并且在 Kiana中进行设计 Dashboard，最后进行展示

后面的日志格式，图表，Dashboard都是自定义的

二编一个日志的脚本

为了方便实验，脚本很简陋，只是一个输入工具，没有什么实际作用

2.1 日志内容如下

#!/bin/bash

visit_array=("浏览页面" "评论商品"  "加入收藏" "加入购物车" "提交订单" "使用优惠卷" "领取优惠卷" "搜索" "查看订单")

visit_number=`head /dev/urandom | cksum | cut -c -`

id_number=`head /dev/urandom | cksum | cut -c -`

echo "[INFO] `date +%F` `date|awk '{print $4}'` [cn.success.dashboard.Main] - DAU|$id_number|${visit_array[$visit_number]}|`date +%F` `date|awk '{print $4}'`"

2.2 执行测试

简单执行一下，看一下效果

[root@node4 ~]# sh /opt/logs.sh

[INFO] -- :: [cn.success.dashboard.Main] - DAU||查看订单|-- ::

[root@node4 ~]# sh /opt/logs.sh

[INFO] -- :: [cn.success.dashboard.Main] - DAU||搜索|-- ::

[root@node4 ~]# sh /opt/logs.sh

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[root@node4 ~]# sh /opt/logs.sh

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[root@node4 ~]# sh /opt/logs.sh

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

2.3 实际操作

然后写一个死循环，两秒执行一次，把这个输入一个日志文件里模拟

[root@node4 ~]# while

> :

> do

> sh /opt/logs.sh >> /var/log/elk-test.log

> sleep

> done

2.4 查看效果

[root@node4 ~]# tail -f /var/log/elk-test.log

[INFO] -- :: [cn.success.dashboard.Main] - DAU||评论商品|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||评论商品|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||提交订单|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||评论商品|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入收藏|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||评论商品|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU|||-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

[INFO] -- :: [cn.success.dashboard.Main] - DAU||加入购物车|-- ::

基本达到一个日志的效果

三配置filebeat

[root@node4 ~]# cd /usr/local/filebeat/

[root@node4 filebeat]# vi elk-test.yml

filebeat.inputs:

- type: log

  enabled: true

  paths:

    -  /var/log/elk-test.log

setup.template.settings:

  index.number_of_shards:

output.logstash:

  hosts: ["192.168.132.131:5044"]

四配置logstash

4.1 初步配置

[root@node1 logstash]# vi elk-test.conf

input {

  beats{

  port => ""

  }

}

filter{

  mutate {

    split => {"message" => "|"}

  }

  mutate {

    add_field =>{

        "UserId" => "%{[message][1]}"

        "visit"  => "%{[message][2]}"

        "date"   => "%{[message][3]}"

        }

    }

}

output {

  stdout {codec => rubydebug}

}

先输出到控制台

[root@node1 logstash]# bin/logstash -f elk-test.conf

[--30T05::,][INFO ][org.logstash.beats.Server][main] Starting server on port:

[--30T05::,][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>}

root@node1 ~]# netstat -antlup|grep 5044

ELK学习实验013：ELK的一个完整的配置操作

再启动filebeat

[root@node4 filebeat]# ./filebeat -e -c elk-test.yml

查看控制台的输出情况

ELK学习实验013：ELK的一个完整的配置操作

4.2 把数据进行格式化配置

[root@node1 ~]# vim /usr/local/logstash/elk-test.conf

input {

  beats{

  port => ""

  }

}

filter{

  mutate {

    split => {"message" => "|"}

  }

  mutate {

    add_field =>{

        "UserId" => "%{[message][1]}"

        "visit" => "%{[message][2]}"

        "DateTime" => "%{[message][3]}"

        }

    }

  mutate{

    convert => {

      "UserId" => "integer"

      "visit" => "string"

      "DateTime" => "string"

    }

  }

}

output {

  stdout {codec => rubydebug}

}

启动再看

ELK学习实验013：ELK的一个完整的配置操作

数据处理完成

4.3 数据传到elasticsearch配置

[root@node1 logstash]# vim elk-test.conf

input {

  beats{

  port => ""

  }

}

filter{

  mutate {

    split => {"message" => "|"}

  }

  mutate {

    add_field =>{

        "UserId" => "%{[message][1]}"

        "visit" => "%{[message][2]}"

        "DateTime" => "%{[message][3]}"

        }

    }

  mutate{

    convert => {

      "UserId" => "integer"

      "visit" => "string"

      "DateTime" => "string"

    }

  }

}

output {

  elasticsearch{

    hosts => ["192.168.132.131:9200","192.168.132.132:9200","192.168.132.133:9200"]

  }

}