ELK分布式日志+NLog在.NetCore中的应用

时间:2024-01-25 20:37:31

一、ELK简介

       ELK是Elasticsearch、Logstash和Kibana首字母的缩写。这三者均是开源软件,这三套开源工具组合起来形成了一套强大的集中式日志管理平台

Elasticsearch是一个分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点,基于Apache Lucene构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通过简单的配置,Elasticsearch就会帮你管理集群、分片、故障转移、主节点选举等,还提供集群状态的监控接口。

       Logstash是一个用来搜集、解析、过滤日志的工具。支持几乎任何类型的日志,包括系统日志、业务日志和安全日志,支持file、syslog、tcp、stdin、redis和kafka等多种接收方式。支持elasticrsearch、email、exec、nagios、tcp、hdfs等多种方式输出

       Kibana是一个开源的分析与可视化平台,用于搜索、分析和可视化存储在 Elasticsearch中的数据,然后以图表的方式展现出来,还允许用户自定义查询、过滤和汇总数据。

二、安装(这里以windows为例)

       1. 第一步:下载Elasticsearch 下载地址:https://www.elastic.co/cn/downloads/elasticsearch 选择你适合的平台版本,如下图所示:

      2. 下载Logstash 下载地址:https://www.elastic.co/cn/downloads/logstash,选择你适合的平台,如下图所示:

 

       3.下载Kibana,下载地址:https://www.elastic.co/cn/downloads/kibana,选择你适合的平台,如下图所示: 

     将压缩包解压到文件,如图所示:

  切换到elasticsearch-7.3.2\bin,点击elasticsearch.bat即可完成安装,打开http://localhost:9200/如下图所示即安装完成

      安装node.jsgrunt,从地址:https://nodejs.org/en/download/ 下载相应系统的msi,双击安装

    打开命令提示符输入npm install -g grunt-cli,如下图所示则grunt安装完成

      进入\elasticsearch-7.3.2\config,打开elasticsearch.yml,在文件末尾加上以下代码:

   http.cors.enabled: true

   http.cors.allow-origin: "*"

  双击elasticsearch.bat重启es

  下载Head,下载地址:https://github.com/mobz/elasticsearch-head,下载后将elasticsearch-head-master 解压到elasticsearch-7.3.2文件夹下,如图所示:

     修改elasticsearch-head-master文件夹下的Gruntfile.js,加上hostname:’*’

     \elasticsearch-7.3.2\elasticsearch-head-master文件夹下执行npm install

     安装完成后执行grunt server 或者npm run start 运行head插件,http://浏览器下访问http://localhost:9100/

     logstash安装:解压后启动使用配置文件就可以了

       Kibana安装:kibana-7.3.2\config文件夹下修改kibana.yml, 取消server.portserver.hostserver.nameelasticsearch.hostsi18n.locale前面的#号,并将i18n.locale的值改为zh-CN,运行bin文件夹下的kibana.bat,打开localhost:5601,如图所示则安装成功

三、.Net Core使用Nlog调用ELK写入日志

        1、NuGet安装依赖

      2、配置nlog.config

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      internalLogToConsole="true">
  <extensions>
    <add assembly="NLog.Targets.ElasticSearch"/>
  </extensions>

  <targets async="true">
    <!--https://github.com/reactive-markets/NLog.Targets.ElasticSearch/wiki-->
    <target xsi:type="ElasticSearch"
            name="ElasticSearch"
            uri="http://127.0.0.1:9200"
            index="Web"
            documentType="logevent"
            includeAllProperties="false"
            requireAuth="false">
      <field name="host" layout="${machinename}" />
      <field name="application"
                 layout="${applicationName}" />
      <field name="logged" layout="${date}" />
      <field name="level" layout="${level}" />
      <field name="message" layout="${message}" />
      <field name="logger" layout="${logger}" />
      <field name="callSite" layout="${callsite:filename=true}" />
      <field name="exception" layout="${exception:tostring}" />
      <field name="IP" layout="${aspnet-request-ip}" />
      <field name="User" layout="${aspnetcore-request-user}" />
      <field name="serverName" layout="${machinename}" />
      <field name="url" layout="${aspnetcore-request-url}" />
    </target>
    
    
  
  </targets>
  <rules>
    <logger name="*" minlevel="INFO" writeTo="ElasticSearch" />
  </rules>
</nlog>
View Code

      3、Startup.cs配置

     4、应用

      可以看到以下数据则表示调用成功