Opentracing + Uber Jaeger 全链路灰度调用链，Nepxion Discovery

当网关和服务在实施全链路分布式灰度发布和路由时候，我们需要一款追踪系统来监控网关和服务走的是哪个灰度组，哪个灰度版本，哪个灰度区域，甚至监控从Http Header头部全程传递的灰度规则和路由策略。这个功能意义在于：

不仅可以监控全链路中基本的调用信息，也可以监控额外的灰度信息，有助于我们判断灰度发布和路由是否执行准确，一旦有问题，也可以快速定位
可以监控流量何时切换到新版本，或者新的区域，或者新的机器上
可以监控灰度规则和路由策略是否配置准确
可以监控网关和服务灰度上下级树状关系
可以监控全链路流量拓扑图

笔者尝试调研了一系列分布式追踪系统和中间件，包括Opentracing、Uber Jaeger、Twitter Zipkin、Apache Skywalking、Pinpoint、CAT等，最后决定采用Opentracing + Uber Jaeger方式来实现，重要原因除了易用性和可扩展性外，Opentracing支持WebMvc和WebFlux两种方式，业界的追踪系统能支持WebFlux相对较少

[OpenTracing] OpenTracing已进入CNCF，正在为全球的分布式追踪系统提供统一的概念、规范、架构和数据标准。它通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现。对于存在多样化的技术栈共存的调用链中，Opentracing适配Java、C、Go和.Net等技术栈，实现全链路分布式追踪功能。迄今为止，Uber Jaeger、Twitter Zipkin和Apache Skywalking已经适配了Opentracing规范

笔者以Nepxion社区的Discovery开源框架（对该开源框架感兴趣的同学，请访问如下链接）为例子展开整合

源码主页，请访问
https://github.com/Nepxion/Discovery

指南主页，请访问
https://github.com/Nepxion/DiscoveryGuide

文档主页，请访问
https://pan.baidu.com/s/1i57rXaNKPuhGRqZ2MONZOA#list/path=%2FNepxion

整合的效果图

Alt text

基本概念

灰度调用链主要包括如下11个参数。使用者可以自行定义要传递的调用链参数，例如：traceId, spanId等；也可以自行定义要传递的业务调用链参数，例如：mobile, user等

1. n-d-service-group - 服务所属组或者应用
2. n-d-service-type - 服务类型，分为“网关”和“服务”
3. n-d-service-id - 服务ID
4. n-d-service-address - 服务地址，包括Host和Port
5. n-d-service-version - 服务版本
6. n-d-service-region - 服务所属区域
7. n-d-version - 版本路由值
8. n-d-region - 区域路由值
9. n-d-address - 地址路由值
10. n-d-version-weight - 版本权重路由值
11. n-d-region-weight - 区域权重路由值

核心实现

Opentracing通用模块

源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-opentracing

由于OpenTracing扩展需要兼顾到Spring Cloud Gateway、Zuul和服务，它的核心逻辑存在着一定的可封装性，所以笔者抽取出一个公共模块discovery-plugin-strategy-opentracing，包含configuration、operation、context等模块，着重阐述operation模块，其它比较简单，不一一赘述了

在阐述前，笔者需要解释一个配置，该配置将决定核心实现以及终端界面的显示

如果开启，灰度信息输出到独立的Span节点中，意味着在界面显示中，灰度信息通过独立的GRAY Span节点来显示。优点是信息简洁明了，缺点是Span节点会增长一倍。我们可以称呼它为【模式A】
如果关闭，灰度信息输出到原生的Span节点中，意味着在界面显示中，灰度信息会和原生Span节点的调用信息、协议信息等混在一起，缺点是信息庞杂混合，优点是Span节点数不会增长。我们可以称呼它为【模式B】

# 启动和关闭调用链的灰度信息在Opentracing中以独立的Span节点输出，如果关闭，则灰度信息输出到原生的Span节点中。缺失则默认为true
spring.application.strategy.trace.opentracing.separate.span.enabled=true

Opentracing公共操作类 - StrategyOpentracingOperation.java

装配注入Opentracing的Tracer对象
opentracingInitialize方法，提供给网关和服务的Span节点初始化
- 【模式A】下，tracer.buildSpan(...).start()实现新建一个Span，并把它放置到存储上下文的StrategyOpentracingContext的ThreadLocal里
- 【模式B】下，不需要做任何工作
opentracingHeader方法，提供给网关的灰度调用链输出
- 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次把customizationMap（自定义的调用链参数）的元素都放入到Tag中，最后把灰度调用链主11个参数（通过strategyContextHolder.getHeader(...)获取）和更多上下文信息放入到Tag中
- 【模式B】下，跟【模式A】类似，唯一区别的是Tags.COMPONENT的处理，由于原生的Span节点已经带有该信息，所以不需要放入到Tag中
opentracingLocal方法，提供给服务的灰度调用链输出
- 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次把customizationMap（自定义的调用链参数）的元素都放入到Tag中，最后把灰度调用链主11个参数（通过pluginAdapter.getXXX()获取）和更多上下文信息放入到Tag中
- 【模式B】下，跟【模式A】类似，唯一区别的是Tags.COMPONENT的处理，由于原生的Span节点已经带有该信息，所以不需要放入到Tag中
opentracingError方法，提供给服务的灰度调用链异常输出
- 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次span.log(...)方法实现异常输出
- 【模式B】下，不需要做任何工作
opentracingClear方法，灰度调用链的Span上报和清除
- 【模式A】下，首先从StrategyOpentracingContext的ThreadLocal里获取Span对象，其次span.finish()方法实现Span上报，最后StrategyOpentracingContext.clearCurrentContext()方法实现Span清除
- 【模式B】下，不需要做任何工作
getCurrentSpan方法
- 【模式A】下，返回StrategyOpentracingContext.getCurrentContext().getSpan()，即opentracingInitialize新建的Span对象
- 【模式B】下，返回tracer.activeSpan()，即原生的Span对象

public class StrategyOpentracingOperation {
    private static final Logger LOG = LoggerFactory.getLogger(StrategyOpentracingOperation.class);

    @Autowired
    protected PluginAdapter pluginAdapter;

    @Autowired
    protected StrategyContextHolder strategyContextHolder;

    @Autowired
    private Tracer tracer;

    @Value("${" + StrategyOpentracingConstant.SPRING_APPLICATION_STRATEGY_TRACE_OPENTRACING_ENABLED + ":false}")
    protected Boolean traceOpentracingEnabled;

    @Value("${" + StrategyOpentracingConstant.SPRING_APPLICATION_STRATEGY_TRACE_OPENTRACING_SEPARATE_SPAN_ENABLED + ":true}")
    protected Boolean traceOpentracingSeparateSpanEnabled;

    public void opentracingInitialize() {
        if (!traceOpentracingEnabled) {
            return;
        }

        if (!traceOpentracingSeparateSpanEnabled) {
            return;
        }

        Span span = tracer.buildSpan(DiscoveryConstant.SPAN_VALUE).start();
        StrategyOpentracingContext.getCurrentContext().setSpan(span);

        LOG.debug("Trace chain for Opentracing initialized...");
    }

    public void opentracingHeader(Map<String, String> customizationMap) {
        if (!traceOpentracingEnabled) {
            return;
        }

        Span span = getCurrentSpan();
        if (span == null) {
            LOG.error("Span not found in context to opentracing header");

            return;
        }

        if (MapUtils.isNotEmpty(customizationMap)) {
            for (Map.Entry<String, String> entry : customizationMap.entrySet()) {
                span.setTag(entry.getKey(), entry.getValue());
            }
        }

        if (traceOpentracingSeparateSpanEnabled) {
            span.setTag(Tags.COMPONENT.getKey(), DiscoveryConstant.TAG_COMPONENT_VALUE);
        }
        span.setTag(DiscoveryConstant.PLUGIN, DiscoveryConstant.PLUGIN_VALUE);
        span.setTag(DiscoveryConstant.TRACE_ID, span.context().toTraceId());
        span.setTag(DiscoveryConstant.SPAN_ID, span.context().toSpanId());
        span.setTag(DiscoveryConstant.N_D_SERVICE_GROUP, strategyContextHolder.getHeader(DiscoveryConstant.N_D_SERVICE_GROUP));
        ...

        String routeVersion = strategyContextHolder.getHeader(DiscoveryConstant.N_D_VERSION);
        if (StringUtils.isNotEmpty(routeVersion)) {
            span.setTag(DiscoveryConstant.N_D_VERSION, routeVersion);
        }
        ...

        LOG.debug("Trace chain information outputs to Opentracing...");
    }

    public void opentracingLocal(String className, String methodName, Map<String, String> customizationMap) {
        if (!traceOpentracingEnabled) {
            return;
        }

        Span span = getCurrentSpan();
        if (span == null) {
            LOG.error("Span not found in context to opentracing local");

            return;
        }

        if (MapUtils.isNotEmpty(customizationMap)) {
            for (Map.Entry<String, String> entry : customizationMap.entrySet()) {
                span.setTag(entry.getKey(), entry.getValue());
            }
        }

        if (traceOpentracingSeparateSpanEnabled) {
            span.setTag(Tags.COMPONENT.getKey(), DiscoveryConstant.TAG_COMPONENT_VALUE);
        }
        span.setTag(DiscoveryConstant.PLUGIN, DiscoveryConstant.PLUGIN_VALUE);
        span.setTag(DiscoveryConstant.CLASS, className);
        span.setTag(DiscoveryConstant.METHOD, methodName);
        span.setTag(DiscoveryConstant.TRACE_ID, span.context().toTraceId());
        span.setTag(DiscoveryConstant.SPAN_ID, span.context().toSpanId());
        span.setTag(DiscoveryConstant.N_D_SERVICE_GROUP, pluginAdapter.getGroup());
        ...

        String routeVersion = strategyContextHolder.getHeader(DiscoveryConstant.N_D_VERSION);
        if (StringUtils.isNotEmpty(routeVersion)) {
            span.setTag(DiscoveryConstant.N_D_VERSION, routeVersion);
        }
        ...

        LOG.debug("Trace chain information outputs to Opentracing...");
    }

    public void opentracingError(String className, String methodName, Throwable e) {
        if (!traceOpentracingEnabled) {
            return;
        }

        if (!traceOpentracingSeparateSpanEnabled) {
            return;
        }

        Span span = getCurrentSpan();
        if (span == null) {
            LOG.error("Span not found in context to opentracing error");

            return;
        }

        span.log(new ImmutableMap.Builder<String, Object>()
                .put(DiscoveryConstant.CLASS, className)
                .put(DiscoveryConstant.METHOD, methodName)
                .put(DiscoveryConstant.EVENT, Tags.ERROR.getKey())
                .put(DiscoveryConstant.ERROR_OBJECT, e)
                .build());

        LOG.debug("Trace chain error outputs to Opentracing...");
    }

    public void opentracingClear() {
        if (!traceOpentracingEnabled) {
            return;
        }

        if (!traceOpentracingSeparateSpanEnabled) {
            return;
        }

        Span span = getCurrentSpan();
        if (span != null) {
            span.finish();
        } else {
            LOG.error("Span not found in context to opentracing clear");
        }
        StrategyOpentracingContext.clearCurrentContext();

        LOG.debug("Trace chain context of Opentracing cleared...");
    }

    public Span getCurrentSpan() {
        return traceOpentracingSeparateSpanEnabled ? StrategyOpentracingContext.getCurrentContext().getSpan() : tracer.activeSpan();
    }

    public String getTraceId() {
        if (!traceOpentracingEnabled) {
            return null;
        }

        Span span = getCurrentSpan();
        if (span != null) {
            return span.context().toTraceId();
        }

        return null;
    }

    public String getSpanId() {
        if (!traceOpentracingEnabled) {
            return null;
        }

        Span span = getCurrentSpan();
        if (span != null) {
            return span.context().toSpanId();
        }

        return null;
    }
}

Opentracing Service模块

源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-service-opentracing

实现OpenTracing对服务的扩展，包含configuration、tracer等模块，着重阐述tracer模块，其它比较简单，不一一赘述了

Opentracing的服务追踪类 - DefaultServiceStrategyOpentracingTracer.java

继承DefaultServiceStrategyTracer，并注入StrategyOpentracingOperation
trace方法里先执行opentracingInitialize初始化Span，这样可以让后面的逻辑都可以从Span中拿到traceId和spanId，执行opentracingLocal实现服务的灰度调用链输出
error方法里执行opentracingError实现服务的灰度调用链异常输出
release方法里执行opentracingClear实现灰度调用链的Span上报和清除

public class DefaultServiceStrategyOpentracingTracer extends DefaultServiceStrategyTracer {
    @Autowired
    private StrategyOpentracingOperation strategyOpentracingOperation;

    @Override
    public void trace(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation) {
        strategyOpentracingOperation.opentracingInitialize();

        super.trace(interceptor, invocation);

        strategyOpentracingOperation.opentracingLocal(interceptor.getMethod(invocation).getDeclaringClass().getName(), interceptor.getMethodName(invocation), getCustomizationMap());
    }

    @Override
    public void error(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation, Throwable e) {
        super.error(interceptor, invocation, e);

        strategyOpentracingOperation.opentracingError(interceptor.getMethod(invocation).getDeclaringClass().getName(), interceptor.getMethodName(invocation), e);
    }

    @Override
    public void release(ServiceStrategyTracerInterceptor interceptor, MethodInvocation invocation) {
        super.release(interceptor, invocation);

        strategyOpentracingOperation.opentracingClear();
    }

    @Override
    public String getTraceId() {
        return strategyOpentracingOperation.getTraceId();
    }

    @Override
    public String getSpanId() {
        return strategyOpentracingOperation.getSpanId();
    }
}

Opentracing Spring Cloud Gateway模块

源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-gateway-opentracing

实现OpenTracing对Spring Cloud Gateway的扩展，跟discovery-plugin-strategy-starter-service-opentracing模块类似，不一一赘述了

Opentracing Zuul模块

源码参考
https://github.com/Nepxion/Discovery/tree/master/discovery-plugin-strategy-starter-zuul-opentracing

实现OpenTracing对Zuul的扩展，跟discovery-plugin-strategy-starter-service-opentracing模块类似，不一一赘述了

使用说明

示例参考
https://github.com/Nepxion/DiscoveryGuide

使用方式

Opentracing输出方式以Uber Jaeger为例来说明，步骤非常简单

从https://pan.baidu.com/s/1i57rXaNKPuhGRqZ2MONZOA#list/path=%2FNepxion获取Jaeger-1.14.0.zip，Windows操作系统下解压后运行jaeger.bat，Mac和Lunix操作系统请自行研究
执行Postman调用后，访问http://localhost:16686查看灰度调用链
灰度调用链支持WebMvc和WebFlux两种方式，以GRAY字样的标记来标识

开关控制

对于Opentracing调用链功能的开启和关闭，需要通过如下开关做控制：

# 启动和关闭调用链。缺失则默认为false
spring.application.strategy.trace.enabled=true
# 启动和关闭调用链的Opentracing输出，支持F版或更高版本的配置，其它版本不需要该行配置。缺失则默认为false
spring.application.strategy.trace.opentracing.enabled=true
# 启动和关闭调用链的灰度信息在Opentracing中以独立的Span节点输出，如果关闭，则灰度信息输出到原生的Span节点中。缺失则默认为true
spring.application.strategy.trace.opentracing.separate.span.enabled=true

可选功能

自定义调用链上下文参数的创建（该类不是必须的），继承DefaultStrategyTracerAdapter

// 自定义调用链上下文参数的创建
// 对于getTraceId和getSpanId方法，在Opentracing等调用链中间件引入的情况下，由调用链中间件决定，在这里定义不会起作用；在Opentracing等调用链中间件未引入的情况下，在这里定义才有效，下面代码中表示从Http Header中获取，并全链路传递
// 对于getCustomizationMap方法，表示输出到调用链中的定制化业务参数，可以同时输出到日志和Opentracing等调用链中间件，下面代码中表示从Http Header中获取，并全链路传递
public class MyStrategyTracerAdapter extends DefaultStrategyTracerAdapter {
    @Override
    public String getTraceId() {
        return StringUtils.isNotEmpty(strategyContextHolder.getHeader(DiscoveryConstant.TRACE_ID)) ? strategyContextHolder.getHeader(DiscoveryConstant.TRACE_ID) : StringUtils.EMPTY;
    }

    @Override
    public String getSpanId() {
        return StringUtils.isNotEmpty(strategyContextHolder.getHeader(DiscoveryConstant.SPAN_ID)) ? strategyContextHolder.getHeader(DiscoveryConstant.SPAN_ID) : StringUtils.EMPTY;
    }

    @Override
    public Map<String, String> getCustomizationMap() {
        return new ImmutableMap.Builder<String, String>()
                .put("mobile", StringUtils.isNotEmpty(strategyContextHolder.getHeader("mobile")) ? strategyContextHolder.getHeader("mobile") : StringUtils.EMPTY)
                .put("user", StringUtils.isNotEmpty(strategyContextHolder.getHeader("user")) ? strategyContextHolder.getHeader("user") : StringUtils.EMPTY)
                .build();
    }
}

在配置类里@Bean方式进行调用链类创建，覆盖框架内置的调用链类

@Bean
public StrategyTracerAdapter strategyTracerAdapter() {
    return new MyStrategyTracerAdapter();
}

本文作者

任浩军， 10 多年开源经历，Github ID：@HaojunRen，Nepxion 开源社区创始人，Nacos Group Member，Spring Cloud Alibaba & Nacos & Sentinel Committer

请联系我

微信、公众号和文档

Alt text

转载，请保留原文地址，谢谢 ~

posted @ 2019-10-29 13:29 子木聊出海阅读(805) 评论(0) 编辑收藏举报

刷新页面返回顶部

子木聊出海

公号：子木聊出海博客：bysocket.com 我是子木，爱分享 Learning by Writing. 专注于出海 SaaS，探索 SEO、红人营销、Ads、EDM 等增长策略

Opentracing + Uber Jaeger 全链路灰度调用链，Nepxion Discovery

基本概念

核心实现

Opentracing通用模块

Opentracing Service模块

Opentracing Spring Cloud Gateway模块

Opentracing Zuul模块

使用说明

使用方式

开关控制

可选功能

本文作者

请联系我

公告

子木聊出海

公号：子木聊出海 博客：bysocket.com 我是子木，爱分享 Learning by Writing. 专注于出海 SaaS，探索 SEO、红人营销、Ads、EDM 等增长策略

Opentracing + Uber Jaeger 全链路灰度调用链，Nepxion Discovery

基本概念

核心实现

Opentracing通用模块

Opentracing Service模块

Opentracing Spring Cloud Gateway模块

Opentracing Zuul模块

使用说明

使用方式

开关控制

可选功能

本文作者

请联系我

公告

公号：子木聊出海博客：bysocket.com 我是子木，爱分享 Learning by Writing. 专注于出海 SaaS，探索 SEO、红人营销、Ads、EDM 等增长策略