【学习笔记】分布式追踪Tracing

时间：2022-12-23 04:39:34

在软件工程中，Tracing指使用特定的日志记录程序的执行信息，与之相近的还有两个概念，它们分别是Logging和Metrics。

  • Logging：用于记录离散的事件，包含程序执行到某一点或某一阶段的详细信息，比如，应用程序的调试（debug）信息或错误（error）信息。它是我们诊断问题的依据。
  • Metrics：用于记录可聚合的数据，且通常是固定类型的时序数据，每个都是一个逻辑计量单元，或者一个时间段内的柱状图，比如，队列的当前深度可以被定义为一个计量单元，在写入或读取时被更新统计；输入HTTP请求的数量可以被定义为一个计数器，用于简单累加；请求的执行时间可以被定义为一个柱状图，在指定时间片上更新和统计汇总。
  • Tracing：用于记录单次请求范围内的处理信息，其中包括服务调用和处理时长等，比如，一次调用远程服务的RPC执行过程；一次实际的SQL查询语句；一次HTTP请求的业务性ID。它是我们排查系统性能问题的利器。

系统架构从单体转变为微服务以后，一次请求往往涉及到多个服务之间的调用。随着服务数量的增多和内部调用链的复杂化，仅凭借日志和性能监控很难做到 “See the Whole Picture”，在进行问题排查或是性能分析的时候，无异于盲人摸象。

分布式追踪系统（Tracing）旨在分析请求背后调用了哪些服务，服务的调用顺序、耗时、错误原因等，帮助开发者直观分析请求链路，快速定位性能瓶颈，逐渐优化服务间依赖，也有助于开发者从更宏观的角度更好地理解整个分布式系统。

早在 2005 年，Google 就在内部部署了一套分布式追踪系统 Dapper，并发表了一篇论文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》，阐述了该分布式追踪系统的设计和实现，可以视为分布式追踪领域的鼻祖。随后各大厂商纷纷落地了一些优秀的分布式追踪系统，比如Jaeger（Uber）、Zipkin（twitter）、X-ray（AWS）、SkyWalking等，但各家的分布式追踪方案很可能是互不兼容的，于是诞生了OpenTracing。

1. OpenTracing

OpenTracing是一个轻量级的标准化层，它位于<应用程序/类库>和<追踪或日志分析程序>之间，通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现，解决不同的分布式追踪系统API不兼容的问题，也使得在通用代码库增加对分布式追踪的支持成为可能。

  • 后台无关的一套接口，被跟踪的服务只需要调用这套接口，就可以被任何实现这套接口的跟踪后台（比如Zipkin, Jaeger等等）支持，而作为一个跟踪后台，只要实现了个这套接口，就可以跟踪到任何调用这套接口的服务。
  • 标准化了对跟踪最小单位Span的管理：定义了开始Span，结束Span和记录Span耗时的API。
  • 标准化了进程间跟踪数据传递的方式：定义了一套API方便跟踪数据的传递。
  • 标准化了进程内当前Span的管理：定义了存储和获取当前Span的API。
  • 不对编码定标准：不对进程间传递的跟踪数据的编码定标准，不对向后台发送的跟踪数据的编码定标准，让跟踪后台自己决定最适合他们的编码方式。

OpenTracing已进入 CNCF，正在为全球的分布式追踪，提供统一的概念和数据标准，支持多种语言：https://github.com/opentracing。其中，OpenTracing API for Java：https://github.com/opentracing/opentracing-java

  • opentracing-api，是一个纯粹的API没有任何依赖
  • opentracing-noop，实现了API，但是是空实现什么也不干，依赖opentracing-api
  • opentracing-util，包含了一个GlobalTracer和基于Thread_local的简单实现ScopeManager，依赖opentracing-api、opentracing-noop
  • opentracing-mock，mock测试，包含一个简单的MockTracer，将数据存储进内存，依赖opentracing-api、opentracing-noop、opentracing-util
  • opentracing-testbed，用于测试和尝试新特性

OpenTracing数据模型中有三个重要的相互关联的类型，分别是Tracer，Span和SpanContext。

  • Trace：一个完整请求链路
  • Span：一次调用过程(需要有开始时间和结束时间)
  • SpanContext：Trace的全局上下文信息，如里面有traceId

Trace

一个Trace代表一个事务或者流程在（分布式）系统中的执行过程。一条Trace（调用链）可以被认为是一个由多个Span组成的有向无环图（DAG），通过归属于此调用链的Span来隐性的定义。

Tracer接口用来创建Span，以及处理如何处理Inject(serialize) 和 Extract (deserialize)，用于跨进程边界传递。

【学习笔记】分布式追踪Tracing

Span

一个Span代表系统中具有开始时间和执行时长的逻辑运行单元。Span之间通过嵌套或者顺序排列建立逻辑因果关系。Span可以被理解为一次方法调用, 一个程序块的调用, 或者一次RPC/数据库访问，只要是一个具有完整时间周期的程序访问，都可以被认为是一个span。每个Span包含以下的状态：

  • An operation name，操作名称
  • A start timestamp，起始时间
  • A finish timestamp，结束时间
  • Span Tag，一组键值对构成的Span标签集合。键值对中，键必须为string，值可以是字符串，布尔，或者数字类型
  • Span Log，一组span的日志集合。每次log操作包含一个键值对，以及一个时间戳。键值对中，键必须为string，值可以是任意类型
  • SpanContext，Span上下文对象
  • References，Span间关系，目前定义了两种关系：ChildOf（父子，父级span某种程度上取决于子span） 和 FollowsFrom（跟随，父级节点不以任何方式依然他们子节点的执行结果）

SpanContext

Span上下文对象，代表跨越进程边界，传递到下级span的状态。每一个SpanContext包含以下状态：

  • 任何一个OpenTracing的实现，都需要将当前调用链的状态（例如：trace和span的id），依赖一个独特的Span去跨进程边界传输
  • Baggage Items，Trace的随行数据，是一个键值对集合，它存在于trace中，也需要跨进程边界传输

OpenTracing的使用者仅仅需要，在创建span、向传输协议Inject（注入）和从传输协议中Extract（提取）时，使用SpanContext和References。

2. Jaeger

Jaeger是Uber开源的一款分布式追踪系统（https://github.com/jaegertracing/jaeger），兼容OpenTracing API（支持Java语言：https://github.com/jaegertracing/jaeger-client-java）。

  • jaeger-client：Jaeger的客户端，实现了OpenTracing的API，支持主流编程语言。客户端直接集成在应用程序中，把trace信息按指定的采样策略传递给jaeger-agent，这个过程通常被称为埋点。
  • jaeger-agent：一个监听在UDP端口上接收trace信息的网络守护进程，会将数据批量发送给jaeger-collector。它被设计成一个基础组件，部署到所有的宿主机上，agent将client和collector解耦，为client屏蔽路由和发现collector的细节。
  • jaeger-collector：负责接收jaeger-agent发送来的数据，然后异步处理，最终将数据存储到DB中。它被设计成无状态的组件，因此可以同时运行任意数量的jaeger-collector。
  • jaeger-query：接收查询请求，然后从DB中检索 trace信息并通过 UI 进行展示。Query是无状态的，可以启动多个实例，把它们部署在nginx这样的负载均衡器后面。
  • jaeger-ingester：中文名称“摄食者”，从kafka读取数据然后写到jaeger的后端存储，比如Cassandra和Elasticsearch。

【学习笔记】分布式追踪Tracing

分布式追踪系统大体分为三个部分，数据采集、数据持久化、数据展示。

  • 数据采集是指在代码中埋点，设置请求中要上报的阶段，以及设置当前记录的阶段隶属于哪个上级阶段。
  • 数据持久化则是指将上报的数据落盘存储，例如Jaeger就支持多种存储后端，可选用Cassandra或者Elasticsearch。
  • 数据展示则是前端根据TraceId查询与之关联的请求阶段，并在界面上呈现。

3. dd-trace-java

dd-trace-java（https://github.com/DataDog/dd-trace-java）是Datadog开源的一个java版本的APM（应用性能管理）客户端。它依赖了jaeger-client-java中的jaeger-core，采用字节码注入技术（JavaAgent）进行埋点，支持针对不同组件（http、kafka、jdbc等）进行插件化开发。

启动入口在AgentBootstrap的premain方法：

  • AgentInstaller.installBytebuddyAgent：注册各种支持不同组件的埋点插件
  • TracerInstaller.installGlobalTracer：注册一个全局的Tracer
【学习笔记】分布式追踪Tracing【学习笔记】分布式追踪Tracing
 1 public class AgentInstaller {

 2

 3     public static ResettableClassFileTransformer installBytebuddyAgent(final Instrumentation inst) {

 4         AgentBuilder agentBuilder =

 5                 new AgentBuilder.Default()

 6                         .disableClassFormatChanges()

 7                         .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION)

 8                         .with(new RedefinitionLoggingListener())

 9                         .with(AgentBuilder.DescriptionStrategy.Default.POOL_ONLY)

10                         .with(AgentTooling.poolStrategy())

11                         .with(new TransformLoggingListener())

12                         .with(new ClassLoadListener())

13                         .with(AgentTooling.locationStrategy())

14                         .ignore(any(), skipClassLoader())

15                         .or(nameStartsWith("datadog.trace."))

16                         .or(nameStartsWith("datadog.opentracing."))

17                         .or(nameStartsWith("datadog.slf4j."))

18                         .or(nameStartsWith("java.").and(not(nameStartsWith("java.util.concurrent."))))

19                         .or(nameStartsWith("com.sun."))

20                         .or(nameStartsWith("sun.").and(not(nameStartsWith("sun.net.www."))))

21                         .or(nameStartsWith("jdk."))

22                         .or(nameStartsWith("org.aspectj."))

23                         .or(nameStartsWith("org.groovy."))

24                         .or(nameStartsWith("com.p6spy."))

25                         .or(nameStartsWith("org.slf4j."))

26                         .or(nameContains("javassist"))

27                         .or(nameContains(".asm."))

28                         .or(nameMatches("com\\.mchange\\.v2\\.c3p0\\..*Proxy"));

29

30         for (final Instrumenter instrumenter : ServiceLoader.load(Instrumenter.class)) {

31             log.info("Loading instrumentation {}", instrumenter.getClass().getName());

32             agentBuilder = instrumenter.instrument(agentBuilder);

33         }

34         return agentBuilder.installOn(inst);

35     }

36 }

AgentInstaller

业务方可通过继承Instrumenter.Default进行插件化开发，以支持不同组件的埋点。

【学习笔记】分布式追踪Tracing【学习笔记】分布式追踪Tracing
 1 @AutoService(Instrumenter.class)

 2 public class MDCInjectionInstrumentation extends Instrumenter.Default {

 3

 4     private static final String mdcClassName = "org.TMP.MDC".replaceFirst("TMP", "slf4j");

 5

 6     @Override

 7     protected boolean defaultEnabled() {

 8         return Config.get().isLogsInjectionEnabled();

 9     }

10

11     @Override

12     public ElementMatcher<? super TypeDescription> typeMatcher() {

13         return named(mdcClassName);

14     }

15

16     @Override

17     public void postMatch(

18             final TypeDescription typeDescription,

19             final ClassLoader classLoader,

20             final JavaModule module,

21             final Class<?> classBeingRedefined,

22             final ProtectionDomain protectionDomain) {

23         if (classBeingRedefined != null) {

24             MDCAdvice.mdcClassInitialized(classBeingRedefined);

25         }

26     }

27

28     @Override

29     public Map<? extends ElementMatcher<? super MethodDescription>, String> transformers() {

30         return singletonMap(

31                 isTypeInitializer(), MDCInjectionInstrumentation.class.getName() + "$MDCAdvice");

32     }

33

34     @Override

35     public String[] helperClassNames() {

36         return new String[]{LogContextScopeListener.class.getName()};

37     }

38

39     public static class MDCAdvice {

40         @Advice.OnMethodExit(suppress = Throwable.class)

41         public static void mdcClassInitialized(@Advice.Origin final Class mdcClass) {

42             try {

43                 final Method putMethod = mdcClass.getMethod("put", String.class, String.class);

44                 final Method removeMethod = mdcClass.getMethod("remove", String.class);

45                 GlobalTracer.get().addScopeListener(new LogContextScopeListener(putMethod, removeMethod));

46             } catch (final NoSuchMethodException e) {

47                 org.slf4j.LoggerFactory.getLogger(mdcClass).debug("Failed to add MDC span listener", e);

48             }

49         }

50     }

51 }

Instrumenter.Default

End

OpenTracing建立了一套标准，解决了不同的分布式追踪系统埋点API不兼容的问题（类似SLF4J）；Uber开源的Jaeger提供一套完整的分布式追踪解决方案（兼容OpenTracing API），包括数据采集、数据持久化、数据展示；Datadog开源的dd-trace-java是一个APM client for Java（依赖jaeger-client-java），采用字节码注入技术（JavaAgent）进行埋点，支持针对不同组件进行插件化开发。

相关文章