使用开源软件sentry来收集日志

时间:2021-12-02 21:38:56

原文地址:http://luxuryzh.iteye.com/blog/1980364

对于一个已经上线的系统,存在未知的bug或者运行时发生异常是很常见的事情,随之而来的几点需求产生了: 
1、系统发生异常时是否能够通过日志查看到具体原因 
2、怎样第一时间扑捉到异常 
3、系统都出现了哪些异常 
4、哪些异常出现频率高 
     第一点好解决,利用log4j、logback等日志框架把异常信息(stacktrace,params)打印到日志文件,可以在查找时很方便看到相信信息。但是这样往往具有滞后性,等到用户反馈或者系统崩溃的时候才去线上查看日志找到原因,可能异常已经发了好几天了,损失很大。所以第二点显得格外重要,怎样做到第一时间捕捉到异常呢?你大可以tail -f yourlog.log盯着屏幕一直看,出现异常马上解决,但是日志数量大、分布在多个服务器的时候这样的做法肯定行不通了,所以需要有监控措施,第一时间告警。对于第三和第四点则是需要对异常进行分类统计。 
       所以一个日志收集系统的原型勾勒出来了:具备收集日志(对于分布式环境下,日志分布在各台服务器上)、日志统计(统计次数最多的异常,往往这就是系统的隐患所在)、监控告警(出现异常或者异常积累到一定数量以短信或者邮件的形式告警)、以及以上功能的可视化界面。其实自己去开发这样一个系统还是有难度的,好在目前已经有好的开源产品能够直接使用了,这就是Sentry,一个基于Djongo的日志收集系统。Sentry的界面漂亮、支持的语言和框架多、易于扩展、效率不错。 
     Sentry的安装和配置网上有很多教程,难度不大。Sentry是c/s结构的软件,所以部署好了服务器端以后还需要客户端,Sentry的客户端支持python/php/ruby/java等语言并且支持在众多框架中集成。 
以和Java的logback集成为例: 
在项目的pom.xml文件中配置Sentry客户端的依赖: 
<!-- sentry raven-java configuration -->
  1. <dependency>
  2. <groupId>net.kencochrane.raven</groupId>
  3. <artifactId>raven-logback</artifactId>
  4. <version>4.1.1</version>
  5. </dependency>

<!-- jaskson configuration -->

  1. <dependency>
  2. <groupId>com.fasterxml.jackson.core</groupId>
  3. <artifactId>jackson-core</artifactId>
  4. <version>2.3.0</version>
  5. </dependency>

<!-- sentry appender configuration -->

  1. <appender name="Sentry" class="net.kencochrane.raven.logback.SentryAppender">
  2. <dsn>
  3. http://your api key@your sentry host/4
  4. </dsn>
  5. <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
  6. <level>ERROR</level>
  7. </filter>
  8. </appender>

dsn中需要配置api keys,这个在sentry的项目配置中可以得到,一切就是这么简单,无缝集成,不影响现有的日志打印,还能帮助收集异常、统计异常,多好的事情,呵呵,下面附上一张我们部署的sentry系统的截图,敏感信息用线条抹去了请谅解。 
使用开源软件sentry来收集日志

        最后需要说一下,毕竟sentry的日志收集是通过网络传输(TCP/UDP),会带来性能上的损耗。所以不适用于将所有业务日志全部收集到Sentry,所以有了Sentry以后还是需要普通log的,毕竟业务逻辑的跟踪和分析等等也离不开log,Sentry只是辅助的一个工具。