【学习笔记】分布式追踪Tracing

时间:2022-12-23 04:39:34

在软件工程中,Tracing指使用特定的日志记录程序的执行信息,与之相近的还有两个概念,它们分别是Logging和Metrics。

  • Logging:用于记录离散的事件,包含程序执行到某一点或某一阶段的详细信息,比如,应用程序的调试(debug)信息或错误(error)信息。它是我们诊断问题的依据。
  • Metrics:用于记录可聚合的数据,且通常是固定类型的时序数据,每个都是一个逻辑计量单元,或者一个时间段内的柱状图,比如,队列的当前深度可以被定义为一个计量单元,在写入或读取时被更新统计;输入HTTP请求的数量可以被定义为一个计数器,用于简单累加;请求的执行时间可以被定义为一个柱状图,在指定时间片上更新和统计汇总。
  • Tracing:用于记录单次请求范围内的处理信息,其中包括服务调用和处理时长等,比如,一次调用远程服务的RPC执行过程;一次实际的SQL查询语句;一次HTTP请求的业务性ID。它是我们排查系统性能问题的利器。

系统架构从单体转变为微服务以后,一次请求往往涉及到多个服务之间的调用。随着服务数量的增多和内部调用链的复杂化,仅凭借日志和性能监控很难做到 “See the Whole Picture”,在进行问题排查或是性能分析的时候,无异于盲人摸象。

分布式追踪系统(Tracing)旨在分析请求背后调用了哪些服务,服务的调用顺序、耗时、错误原因等,帮助开发者直观分析请求链路,快速定位性能瓶颈,逐渐优化服务间依赖,也有助于开发者从更宏观的角度更好地理解整个分布式系统。

早在 2005 年,Google 就在内部部署了一套分布式追踪系统 Dapper,并发表了一篇论文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》,阐述了该分布式追踪系统的设计和实现,可以视为分布式追踪领域的鼻祖。随后各大厂商纷纷落地了一些优秀的分布式追踪系统,比如Jaeger(Uber)、Zipkin(twitter)、X-ray(AWS)、SkyWalking等,但各家的分布式追踪方案很可能是互不兼容的,于是诞生了OpenTracing。

1. OpenTracing

OpenTracing是一个轻量级的标准化层,它位于<应用程序/类库>和<追踪或日志分析程序>之间,通过提供平台无关、厂商无关的API,使得开发人员能够方便的添加(或更换)追踪系统的实现,解决不同的分布式追踪系统API不兼容的问题,也使得在通用代码库增加对分布式追踪的支持成为可能。

  • 后台无关的一套接口,被跟踪的服务只需要调用这套接口,就可以被任何实现这套接口的跟踪后台(比如Zipkin, Jaeger等等)支持,而作为一个跟踪后台,只要实现了个这套接口,就可以跟踪到任何调用这套接口的服务。
  • 标准化了对跟踪最小单位Span的管理:定义了开始Span,结束Span和记录Span耗时的API。
  • 标准化了进程间跟踪数据传递的方式:定义了一套API方便跟踪数据的传递。
  • 标准化了进程内当前Span的管理:定义了存储和获取当前Span的API。
  • 不对编码定标准:不对进程间传递的跟踪数据的编码定标准,不对向后台发送的跟踪数据的编码定标准,让跟踪后台自己决定最适合他们的编码方式。

OpenTracing已进入 CNCF,正在为全球的分布式追踪,提供统一的概念和数据标准,支持多种语言:https://github.com/opentracing。其中,OpenTracing API for Java:https://github.com/opentracing/opentracing-java

  • opentracing-api,是一个纯粹的API没有任何依赖
  • opentracing-noop,实现了API,但是是空实现什么也不干,依赖opentracing-api
  • opentracing-util,包含了一个GlobalTracer和基于Thread_local的简单实现ScopeManager,依赖opentracing-api、opentracing-noop
  • opentracing-mock,mock测试,包含一个简单的MockTracer,将数据存储进内存,依赖opentracing-api、opentracing-noop、opentracing-util
  • opentracing-testbed,用于测试和尝试新特性

OpenTracing数据模型中有三个重要的相互关联的类型,分别是Tracer,Span和SpanContext。

  • Trace:一个完整请求链路
  • Span:一次调用过程(需要有开始时间和结束时间)
  • SpanContext:Trace的全局上下文信息,如里面有traceId

Trace

一个Trace代表一个事务或者流程在(分布式)系统中的执行过程。一条Trace(调用链)可以被认为是一个由多个Span组成的有向无环图(DAG),通过归属于此调用链的Span来隐性的定义。

Tracer接口用来创建Span,以及处理如何处理Inject(serialize) 和 Extract (deserialize),用于跨进程边界传递。

【学习笔记】分布式追踪Tracing

Span

一个Span代表系统中具有开始时间和执行时长的逻辑运行单元。Span之间通过嵌套或者顺序排列建立逻辑因果关系。Span可以被理解为一次方法调用, 一个程序块的调用, 或者一次RPC/数据库访问,只要是一个具有完整时间周期的程序访问,都可以被认为是一个span。每个Span包含以下的状态:

  • An operation name,操作名称
  • A start timestamp,起始时间
  • A finish timestamp,结束时间
  • Span Tag,一组键值对构成的Span标签集合。键值对中,键必须为string,值可以是字符串,布尔,或者数字类型
  • Span Log,一组span的日志集合。每次log操作包含一个键值对,以及一个时间戳。键值对中,键必须为string,值可以是任意类型
  • SpanContext,Span上下文对象
  • References,Span间关系,目前定义了两种关系:ChildOf(父子,父级span某种程度上取决于子span) 和 FollowsFrom(跟随,父级节点不以任何方式依然他们子节点的执行结果)

SpanContext

Span上下文对象,代表跨越进程边界,传递到下级span的状态。每一个SpanContext包含以下状态:

  • 任何一个OpenTracing的实现,都需要将当前调用链的状态(例如:trace和span的id),依赖一个独特的Span去跨进程边界传输
  • Baggage Items,Trace的随行数据,是一个键值对集合,它存在于trace中,也需要跨进程边界传输

OpenTracing的使用者仅仅需要,在创建span、向传输协议Inject(注入)和从传输协议中Extract(提取)时,使用SpanContext和References。

2. Jaeger

Jaeger是Uber开源的一款分布式追踪系统(https://github.com/jaegertracing/jaeger),兼容OpenTracing API(支持Java语言:https://github.com/jaegertracing/jaeger-client-java)。

  • jaeger-client:Jaeger的客户端,实现了OpenTracing的API,支持主流编程语言。客户端直接集成在应用程序中,把trace信息按指定的采样策略传递给jaeger-agent,这个过程通常被称为埋点。
  • jaeger-agent:一个监听在UDP端口上接收trace信息的网络守护进程,会将数据批量发送给jaeger-collector。它被设计成一个基础组件,部署到所有的宿主机上,agent将client和collector解耦,为client屏蔽路由和发现collector的细节。
  • jaeger-collector:负责接收jaeger-agent发送来的数据,然后异步处理,最终将数据存储到DB中。它被设计成无状态的组件,因此可以同时运行任意数量的jaeger-collector。
  • jaeger-query:接收查询请求,然后从DB中检索 trace信息并通过 UI 进行展示。Query是无状态的,可以启动多个实例,把它们部署在nginx这样的负载均衡器后面。
  • jaeger-ingester:中文名称“摄食者”,从kafka读取数据然后写到jaeger的后端存储,比如Cassandra和Elasticsearch。

【学习笔记】分布式追踪Tracing

分布式追踪系统大体分为三个部分,数据采集、数据持久化、数据展示。

  • 数据采集是指在代码中埋点,设置请求中要上报的阶段,以及设置当前记录的阶段隶属于哪个上级阶段。
  • 数据持久化则是指将上报的数据落盘存储,例如Jaeger就支持多种存储后端,可选用Cassandra或者Elasticsearch。
  • 数据展示则是前端根据TraceId查询与之关联的请求阶段,并在界面上呈现。

3. dd-trace-java

dd-trace-java(https://github.com/DataDog/dd-trace-java)是Datadog开源的一个java版本的APM(应用性能管理)客户端。它依赖了jaeger-client-java中的jaeger-core,采用字节码注入技术(JavaAgent)进行埋点,支持针对不同组件(http、kafka、jdbc等)进行插件化开发。

启动入口在AgentBootstrap的premain方法:

  • AgentInstaller.installBytebuddyAgent:注册各种支持不同组件的埋点插件
  • TracerInstaller.installGlobalTracer:注册一个全局的Tracer
【学习笔记】分布式追踪Tracing【学习笔记】分布式追踪Tracing
 1 public class AgentInstaller {
2
3 public static ResettableClassFileTransformer installBytebuddyAgent(final Instrumentation inst) {
4 AgentBuilder agentBuilder =
5 new AgentBuilder.Default()
6 .disableClassFormatChanges()
7 .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION)
8 .with(new RedefinitionLoggingListener())
9 .with(AgentBuilder.DescriptionStrategy.Default.POOL_ONLY)
10 .with(AgentTooling.poolStrategy())
11 .with(new TransformLoggingListener())
12 .with(new ClassLoadListener())
13 .with(AgentTooling.locationStrategy())
14 .ignore(any(), skipClassLoader())
15 .or(nameStartsWith("datadog.trace."))
16 .or(nameStartsWith("datadog.opentracing."))
17 .or(nameStartsWith("datadog.slf4j."))
18 .or(nameStartsWith("java.").and(not(nameStartsWith("java.util.concurrent."))))
19 .or(nameStartsWith("com.sun."))
20 .or(nameStartsWith("sun.").and(not(nameStartsWith("sun.net.www."))))
21 .or(nameStartsWith("jdk."))
22 .or(nameStartsWith("org.aspectj."))
23 .or(nameStartsWith("org.groovy."))
24 .or(nameStartsWith("com.p6spy."))
25 .or(nameStartsWith("org.slf4j."))
26 .or(nameContains("javassist"))
27 .or(nameContains(".asm."))
28 .or(nameMatches("com\\.mchange\\.v2\\.c3p0\\..*Proxy"));
29
30 for (final Instrumenter instrumenter : ServiceLoader.load(Instrumenter.class)) {
31 log.info("Loading instrumentation {}", instrumenter.getClass().getName());
32 agentBuilder = instrumenter.instrument(agentBuilder);
33 }
34 return agentBuilder.installOn(inst);
35 }
36 }

AgentInstaller

业务方可通过继承Instrumenter.Default进行插件化开发,以支持不同组件的埋点。

【学习笔记】分布式追踪Tracing【学习笔记】分布式追踪Tracing
 1 @AutoService(Instrumenter.class)
2 public class MDCInjectionInstrumentation extends Instrumenter.Default {
3
4 private static final String mdcClassName = "org.TMP.MDC".replaceFirst("TMP", "slf4j");
5
6 @Override
7 protected boolean defaultEnabled() {
8 return Config.get().isLogsInjectionEnabled();
9 }
10
11 @Override
12 public ElementMatcher<? super TypeDescription> typeMatcher() {
13 return named(mdcClassName);
14 }
15
16 @Override
17 public void postMatch(
18 final TypeDescription typeDescription,
19 final ClassLoader classLoader,
20 final JavaModule module,
21 final Class<?> classBeingRedefined,
22 final ProtectionDomain protectionDomain) {
23 if (classBeingRedefined != null) {
24 MDCAdvice.mdcClassInitialized(classBeingRedefined);
25 }
26 }
27
28 @Override
29 public Map<? extends ElementMatcher<? super MethodDescription>, String> transformers() {
30 return singletonMap(
31 isTypeInitializer(), MDCInjectionInstrumentation.class.getName() + "$MDCAdvice");
32 }
33
34 @Override
35 public String[] helperClassNames() {
36 return new String[]{LogContextScopeListener.class.getName()};
37 }
38
39 public static class MDCAdvice {
40 @Advice.OnMethodExit(suppress = Throwable.class)
41 public static void mdcClassInitialized(@Advice.Origin final Class mdcClass) {
42 try {
43 final Method putMethod = mdcClass.getMethod("put", String.class, String.class);
44 final Method removeMethod = mdcClass.getMethod("remove", String.class);
45 GlobalTracer.get().addScopeListener(new LogContextScopeListener(putMethod, removeMethod));
46 } catch (final NoSuchMethodException e) {
47 org.slf4j.LoggerFactory.getLogger(mdcClass).debug("Failed to add MDC span listener", e);
48 }
49 }
50 }
51 }

Instrumenter.Default

End

OpenTracing建立了一套标准,解决了不同的分布式追踪系统埋点API不兼容的问题(类似SLF4J);Uber开源的Jaeger提供一套完整的分布式追踪解决方案(兼容OpenTracing API),包括数据采集、数据持久化、数据展示;Datadog开源的dd-trace-java是一个APM client for Java(依赖jaeger-client-java),采用字节码注入技术(JavaAgent)进行埋点,支持针对不同组件进行插件化开发。