logstash+elasticsearch+kibana日志处理平台

时间:2022-08-22 21:36:49

最近接触了许多日志处理平台,如引用懂的博客中的图片,

logstash+elasticsearch+kibana日志处理平台


但是除此之外,还有一种【logstash+elasticsearch+kibana】的日志处理平台。



日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:

  • 根据关键字查询日志详情
  • 监控系统的运行状况
  • 统计分析,比如接口的调用次数、执行时间、成功率等
  • 异常数据自动触发消息通知
  • 基于日志的数据挖掘

很多团队在日志方面可能遇到的一些问题有:

  • 开发人员不能登录线上服务器查看详细日志,经过运维周转费时费力
  • 日志数据分散在多个系统,难以查找
  • 日志数据量大,查询速度慢
  • 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
  • 数据不够实时

常见的一些重量级的开源Trace系统有

这些项目功能强大,但对于很多团队来说过于复杂,配置和部署比较麻烦,在系统规模大到一定程度前推荐轻量级下载即用的方案,比如logstash+elasticsearch+kibana(LEK)组合。

对于日志来说,最常见的需求就是收集、查询、显示,正对应logstash、elasticsearch、kibana的功能。


具体可参考:

http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html