【分布式链路追踪】Skywalking分布式链路追踪基于Docker安装与使用
1. 服务监控三要素[1]
服务监控需要满足的三要素分别如下：
- 日志监控
- 指标监控
- 请求链路追踪
服务监控只要能满足这三个要素，基本就能实现我们想要的监控效果。
1.1.主流APM系统[1:1]
APM 系统（Application Performance Management，即应用性能管理）是对企业的应用系统进行实时监控，实现对应用性能管理和故障定位的系统化解决方案，在运维中常用。
- CAT（开源）： 由国内美团点评开源的，基于 Java 语言开发，目前提供 Java、C/C++、Node.js、Python、Go 等语言的客户端，监控数据会全量统计。国内很多公司在用，例如美团点评、携程、拼多多等。CAT 需要开发人员手动在应用程序中埋点，对代码侵入性比较强。
- Zipkin（开源）： 由 Twitter 公司开发并开源，Java 语言实现。侵入性相对于 CAT 要低一点，需要对web.xml 等相关配置文件进行修改，但依然对系统有一定的侵入性。Zipkin 可以轻松与 Spring Cloud 进行集成，也是 Spring Cloud 推荐的 APM 系统。
- Pinpoint（开源）： 韩国团队开源的 APM 产品，运用了字节码增强技术，只需要在启动时添加启动参数即可实现 APM 功能，对代码无侵入。目前支持 Java 和 PHP 语言，底层采用 HBase 来存储数据，探针收集的数据粒度非常细，但性能损耗较大，因其出现的时间较长，完成度也很高，文档也较为丰富，应用的公司较多。
- SkyWalking（开源）： 国人开源的产品，2019 年 4 月 17 日 SkyWalking 从 Apache 基金会的孵化器毕业成为顶级项目。目前 SkyWalking 支持 Java、.Net、Node.js 等探针，数据存储支持MySQL、ElasticSearch等。
- 还有很多不开源的 APM 系统，例如，淘宝鹰眼、Google Dapper 等等。
2. SkyWalking[2]
SkyWalking 是分布式系统的应用程序性能监视工具，专为微服务、云原生架构和基于容器（Docker、K8s、Mesos）架构而设计。
提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案
2.1 功能列表
- 多种监控手段。可以通过语言探针和 service mesh 获得监控是数据。
- 多个语言自动探针。包括 Java，.NET Core 和 Node.JS。
- 轻量高效。无需大数据平台，和大量的服务器资源。
- 模块化。UI、存储、集群管理都有多种机制可选。
- 支持告警。
- 优秀的可视化解决方案。
2.2 整体架构
整个架构，分成上、下、左、右四部分：
- 上部分 Agent ：负责从应用中，收集链路信息，发送给 SkyWalking OAP 服务器。目前支持 SkyWalking、Zikpin、Jaeger 等提供的 Tracing 数据信息。而我们目前采用的是，SkyWalking Agent 收集 SkyWalking Tracing 数据，传递给服务器。
- 下部分 SkyWalking OAP ：负责接收 Agent 发送的 Tracing 数据信息，然后进行分析(Analysis Core) ，存储到外部存储器( Storage )，最终提供查询( Query )功能。
- 右部分 Storage ：Tracing 数据存储。目前支持 ES、MySQL、Sharding Sphere、TiDB、H2 多种存储器。而我们目前采用的是 ES ，主要考虑是 SkyWalking 开发团队自己的生产环境采用 ES 为主。
- 左部分 SkyWalking UI ：负责提供控台，查看链路等等。
2.3 搭建SkyWalking 单机环境
- 第一步，搭建一个 Elasticsearch 服务。
- 第二步，下载 SkyWalking 软件包。
- 第三步，搭建一个 SkyWalking OAP 服务。
- 第四步，启动一个 Spring Boot 应用，并配置 SkyWalking Agent。
- 第五步，搭建一个 SkyWalking UI 服务。
环境说明
操作系统：Centos 7.6
Docker：20.10.18
Skywalking OAP：8.9.1
Skywalking UI：8.9.1
Skywalking Agent：8.14
Elasticsearch：7.1.1
下载镜像
docker pull docker.io/elasticsearch:7.1.1
docker pull apache/skywalking-ui:8.9.1
docker pull apache/skywalking-oap-server:8.9.1
说明：Skywalking 8.9.1是 Skywalking 8 的最后一个版本，并且修复了Log4j的JNDI注入漏洞CVE-2021-44228
下载镜像时如提示 command not found ，请先去安装docker
下载Java Agent源码包，后续在项目中会用到
https://archive.apache.org/dist/skywalking/java-agent/8.14.0/apache-skywalking-java-agent-8.14.0.tgz
安装Elasticsearch
先运行es容器
docker run -d --name=es --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6
可根据自己的情况修改 ES_JAVA_OPTS 的值
创建持久化文件
mkdir -p /home/elasticsearch/
复制容器内的文件
docker cp es:/usr/share/elasticsearch/data /home/elasticsearch/
docker cp es:/usr/share/elasticsearch/logs /home/elasticsearch/
删除es容器
docker rm -f es
以挂载模式运行
docker run -d --name=es --restart=always -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -v /home/elasticsearch/data:/usr/share/elasticsearch/data -v /home/elasticsearch/logs:/usr/share/elasticsearch/logs -e ES_JAVA_OPTS="-Xms2048m -Xmx2048m" b0e9f9f047e6
使用 docker logs -f es 查看启动日志，当看到下面的内容时说明启动成功
"publish_address {172.17.0.2:9300}, bound_addresses {0.0.0.0:9300}"
或者访问 http://ip:9200 时出现下面内容也说明启动成功
{
"name" : "a1c4bc953b44",
"cluster_name" : "docker-cluster",
"cluster_uuid" : "sjssODkzTTy0bTrTEqlZfQ",
"version" : {
"number" : "7.1.1",
"build_flavor" : "default",
"build_type" : "docker",
"build_hash" : "7a013de",
"build_date" : "2019-05-23T14:04:00.380842Z",
"build_snapshot" : false,
"lucene_version" : "8.0.0",
"minimum_wire_compatibility_version" : "6.8.0",
"minimum_index_compatibility_version" : "6.0.0-beta1"
},
"tagline" : "You Know, for Search"
}
进入容器内安装ik分词器
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.1.1/elasticsearch-analysis-ik-7.1.1.zip
Elasticsearch设置密码访问[3]
进入容器
docker exec -it es /bin/bash
修改配置文件
vi config/elasticsearch.yml
在文件尾部添加如下内容
# 开启跨域访问 允许外部连接
http.cors.enabled: true
http.cors.allow-origin: "*"
# 开启密码验证
xpack.security.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true
重启ES容器后再进入容器内，执行如下命令
./elasticsearch-setup-passwords interactive
然后输入你想设置的密码，我这里密码设置为 yourpassword 方便后续演示
接下来就是会默认的创建6个用户，并让你设置这6个用户的密码，忽略掉用户名，这些用户权限都是相同的，设置完成以后，这时候再访问es的地址，就会提示需要授权输入账号密码访问了
安装 Skywalking OAP[4]
等待elasticsearch完全启动完后，再启动oap
docker run --name oap-8.9.1 -d --restart=always -e TZ=Asia/Shanghai -p 12800:12800 -p 11800:11800 --link es:es -e SW_STORAGE=elasticsearch -e SW_STORAGE_ES_CLUSTER_NODES=es:9200 -e SW_ES_USER=elastic -e SW_ES_PASSWORD=yourpassword apache/skywalking-oap-server:8.9.1
这里指定了ES存储数据，并输入ES授权的账户密码
安装 Skywalking UI
docker run -d --name skywalking-ui-8.9.1 --restart=always -e TZ=Asia/Shanghai -p 8088:8080 --link oap-8.9.1:oap -e SW_OAP_ADDRESS=http://oap:12800 apache/skywalking-ui:8.9.1
这里映射的端口为8088，防止端口冲突，也可根据你的情况设置
命令中 oap-8.9.1:oap 的 oap-8.9.1 是已运行并需要连接的容器名，oap是取的别名。后续容器内请求 http://oap/ 便会请求到 oap-8.9.1 容器内，并且别名不能有 . 的出现，防止地址解析失败
启动完成后请求 http://ip:8088/
因为懒加载机制，当有请求时才会有数据显示，当第一次访问时会没有数据
2.4 项目集成Skywalking
将上面下载到的 Java Agent 拷贝到项目能访问到的地址，增加JVM的启动参数
-javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar
-Dskywalking.agent.service_name=xxx-server
-Dskywalking.collector.backend_service=ip:11800
-Dskywalking.plugin.jdbc.trace_sql_parameters=true
trace_sql_parameters 参数为true时会收集sql语句的占位参数
更多详细参数请参考[5]
IDEA中启动项目
命令启动项目
如使用命令启动，在java -jar xxx.jar 中增加命令
java -jar -javaagent:D:\tools\skywalking-agent-8.14\skywalking-agent.jar -Dskywalking.agent.service_name=xxx-server -Dskywalking.collector.backend_service=ip:11800 -Dskywalking.plugin.jdbc.trace_sql_parameters=true xxx.jar
Docker 启动项目[6]
我们构建java运行的jdk基础镜像时，加入skywalking agent
Dockerfile:
# FROM openjdk:8-jdk-alpine
FROM adoptopenjdk/openjdk8
VOLUME /tmp
# 其他的一些运行参数可以放这里，比如-Xmx1024m
ENV JAVA_OPTS=""
ENV SKYWALKING_AGENT_SERVICE_NAME="xxx-server"
ENV SKYWALKING_COLLECTOR_BACKEND_SERVICE="ip:1088"
ENV SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS="true"
COPY /etc/localtime /etc/localtime
# 这里是agent的文件夹，按照自己的情况设置
COPY /opt/skywalking-agent-8.14 /usr/local/agent
RUN echo "Asia/Shanghai" > /etc/timezone
ONBUILD COPY app.jar app.jar
ENTRYPOINT [ "java", "-jar", " $JAVA_OPTS -javaagent:/usr/local/agent/skywalking-agent.jar -Dskywalking.agent.service_name=$SKYWALKING_AGENT_SERVICE_NAME -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.collector.backend_service=$SKYWALKING_COLLECTOR_BACKEND_SERVICE -Dskywalking.plugin.jdbc.trace_sql_parameters=$SKYWALKING_PLUGIN_JDBC_TRACE_SQL_PARAMETERS app.jar" ]
然后在Dockerfile所在目录通过docker build -t 镜像名 构建好镜像即可运行
2.5 项目日志收集
logback日志收集[7]
<!-- 如果想在项目代码中获取链路TraceId，则需要引入此依赖 -->
<dependency>
<groupId>org.apache.skywalking</groupId>
<artifactId>apm-toolkit-trace</artifactId>
<version>8.14.0</version>
</dependency>
<!-- skywalking logback插件 -->
<dependency>
<groupId>org.apache.skywalking</groupId>
<artifactId>apm-toolkit-logback-1.x</artifactId>
<version>8.14.0</version>
</dependency>
编写logback日志配置文件。在resources下新建一个logback-spring.xml文件，根据官网文档编写配置文件，可以写作以下两种。
两者的区别就是layout中是采用TraceIdPatternLogbackLayout还是TraceIdMDCPatternLogbackLayout，如果采用TraceIdMDCPatternLogbackLayout，需要将[%tid]改为[%X{tid}]
<!-- class="ch.qos.logback.core.ConsoleAppender"是指打印到控制台 -->
<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
<layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
<Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%n</Pattern>
</layout>
</encoder>
</appender>
<!-- with the MDC, set %X{tid} in Pattern -->
<!-- MDC是什么：MDC采用Map的方式存储上下文，线程独立的，子线程会从父线程拷贝上下文 -->
<appender name="GRPC" class="ch.qos.logback.core.ConsoleAppender">
<encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
<layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
<Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{tid}] [%thread] %-5level %logger{36} -%msg%n</Pattern>
</layout>
</encoder>
</appender>
<root level="INFO">
<appender-ref ref="STDOUT"/>
<appender-ref ref="GRPC"/>
</root>
其他日志框架的引入详见官网
3. 遇到的问题
3.1 网关使用全局拦截器获取不到TraceId
当需要在网关内获取traceId进行返回时，会有可能获取不到的情况
@Component
@Slf4j
public class RequestFilter implements GlobalFilter, Ordered {
@Override
public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {
//一些拦截逻辑
try {
exchange.getResponse().getHeaders().add("traceId", TraceContext.traceId())
} catch (Exception e) {
log.error("traceId装载出现异常，无法装载进入Response对象:", e);
}
return chain.filter(exchange);
}
}
返回的traceId永远是 N/A ，因为该拦截器并不在上下文之中，在GitHub中找到相关的Issue[8]，发现Skywalking 默认是不支持 Spring Cloud Gateway 网关服务的，需要手动将 Gateway 的插件添加到 Skywalking 启动依赖 jar 中[9]。
进入agent的目录，如本文安装的地址：D:\tools\skywalking-agent-8.14\
将optional-plugins文件夹内的 apm-spring-cloud-gateway-2.1.x-plugin.jar 文件复制到 plugins文件夹中。
optional-plugins文件夹内为可选的插件
plugins为已经实装的插件
支持的插件
apm-spring-cloud-gateway-2.0.x-plugin-8.14.0.jar
apm-spring-cloud-gateway-2.1.x-plugin-8.14.0.jar
apm-spring-cloud-gateway-3.x-plugin-8.14.0.jar
根据 Spring Cloud Gateway 的版本选择对应的插件，如作者使用的 Gateway 版本为 2.2.5.RELEASE ，则只需要 2.1 版本的插件就够了，不要同时使用所有版本的插件
Spring Cloud Gateway 是基于 WebFlux 实现，必须搭配上apm-spring-cloud-gateway-2.1.x-plugin 和 apm-spring-webflux-x.x-plugin 两个插件（备注：一般webflux已经包含在目标路径下）
添加完成后再进行请求，在过滤器中会新增名为 SKYWALKING_SPAN的attributes
在该属性内可以找到TraceId
解决方法1
可以在过滤器内使用反射将该属性获取到，代码如下
Object entrySpanInstance = exchange.getAttributes().get("SKYWALKING_SPAN");
Class<?> entrySpanClazz = entrySpanInstance.getClass().getSuperclass().getSuperclass();
Field field = entrySpanClazz.getDeclaredField("owner");
field.setAccessible(true);
Object ownerInstance = field.get(entrySpanInstance);
Class<?> ownerClazz = ownerInstance.getClass();
Method getTraceId = ownerClazz.getMethod("getReadablePrimaryTraceId");
String traceId = (String) getTraceId.invoke(ownerInstance);
这也是在Issus[8:1]中提到的方式，里面还提到了另外一种通过修改Gateway插件将TraceId推到请求的attributes内获取的方式
解决方法2
增加HttpHeadersFilter过滤器，因为网关在请求分发到下游前，会经过HttpHeadersFilters 处理[10]，并且该过滤器是处于上下文内
/**
* 设置skywalking的traceId到response请求头
*/
@Slf4j
@Component
public class TraceResponseFilter implements HttpHeadersFilter {
@Override
public HttpHeaders filter(HttpHeaders input, ServerWebExchange exchange) {
exchange.getResponse().getHeaders().add("traceId", TraceContext.traceId());
return input;
}
}
该方法也是出自于Issue[8:2]内
