在.NET Core 中收集数据的几种方式

APM是一种应用性能监控工具,可以帮助理解系统行为, 用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题, 通过汇聚业务系统各处理环节的实时数据,分析业务系统各事务处理的交易路径和处理时间,实现对应用的全链路性能监测。

组成结构

  • 探针(Agent):负责在客户端程序运行时搜索服务调用链路信息,发送给收集器
  • 收集器(Collector):负责将数据格式化,保存到存储器
  • 存储器(Storage):保存程序数据
  • UI界面(Dashboard):多维度展示数据

本文会主要针对 探针 (Agent), 分享下在.NET 程序中收集程序数据的几种方式,如果需要自研 APM 系统或者收集数据来进行系统分析,希望能可以给大家一些帮助,以下几种方式,大家可以针对自己的场景去选择,我们的目的只是收集数据。

手动埋点

手动埋点比较简单,我们需要在一些操作前后可以手动包裹我们的埋点代码,比如 Http,RPC,DB, MQ 等调用,非常灵活,可以在任意的地方添加我们的埋点信息,然后汇总数据,按批发送,缺点是对程序的侵入性较高,不太优雅。

Middleware 中间件 & 过滤器 Filter

得益于 .NET Core 优秀的框架设计, 它具有一个极具扩展性的请求处理管道,我们可以通过这个管道的定制来满足各种场景下的HTTP处理需求。ASP. NET Core应用的很多特性,比如路由、认证、会话、缓存等,也同时定制消息处理管道来实现的,所以我们需要编写自定义的拦截中间件 InterceptMiddleware,获取到请求上下文 HttpContext, 来拦截所有的Http请求收集数据,注意这里中间件的位置要放到 UseEndpoints() 的上面,同样可以借助 过滤器 AcitonFilter,来完成同样的效果, 但是这种方式可获取的信息有限,只能拦截到 Http 请求的一些信息

DiagnosticSource

实现:
SkyApm-dotnet https://github.com/SkyAPM/SkyAPM-dotnet
HttpReports APM https://github.com/dotnetcore/HttpReports

诊断 DiagnosticSource 我们不经常用,可能都有点陌生,但是它的功能是非常强大的,它本身是一个基于发布订阅模式的工作模式,我们可以异步的去收集信息,比如 中间件的进入和退出,HttpClient 调用的开始和结束,并且有很多第三方的库都支持了 DiagnosticSource,这也是微软目前推荐的方式,在改动极少代码的情况下,采集到丰富的运行数据。

引用 AOP

额,面向切面编程,这个需要在我们的 .NET 程序中引用 AOP 框架,如果是内部系统的话,我觉的还是可以接受的,常见的框架 AspectCore, Castle.Core, 通过 AOP 的特性,我们可以拦截需要获取数据的方法,如果你在项目中,普遍使用依赖注入的话,可以达到方法级别的监控,获取到的信息非常可观,另外需要注意的是,获取的信息越详细,数据量也越大,是全量采集数据还是抽样采集也是要考虑的点

ETW(Event Tracing for Windows)

ETW是Event Tracing for Windows的简称,它是Windows提供的原生的事件跟踪日志系统。由于采用内核(Kernel)层面的缓冲和日志记录机制,所以ETW提供了一种非常高效的事件跟踪日志解决方案。
这个库我还没怎么用过,生而为人,我很抱歉 〒▽〒

Mono.Cecil

Mono.Cecil:一个可加载并浏览现有程序集并进行动态修改并保存的.NET框架, Mono Cecil十分强大,可以静态注入程序集(注入后生成新的dll程序集)和动态注入程序集(注入后不改变目标程序集,只在运行时改变程序集行为,腾讯开源的Unity热更解决方案xLua有一个非常吸引人的特性就是Hotfix,其原理是使用Mono.Cecil库对进行C#层编译出来的dll程序集进行IL代码注入。

PerformanceCounter

这个也是系统库,性能计数器,可以获取到CPU,内存,进程,GC 信息等.

CLR Profiling API

实现
听云APM(商业)OneAPM (商业)Datadog (商业)

https://docs.microsoft.com/en-us/archive/blogs/yirutang/clr-profiling-api

这个真的是一个很棒的方案,你可以看到,很多的 商业APM 系统,都采用了这种方式,因为它是一种无侵入的收集方式,CLR Profiling (分析) API 是CLR中最酷的东西之一, 分析 API 提供 CLR 中发生的各种事件和操作的相关信息, 你可以使用此信息来监视进程的内部工作情况,也可分析 .NET 应用程序的性能

支持的功能如下:

  • CLR 启动和关闭事件。
  • 应用程序域创建和关闭事件。
  • 程序集加载和卸载事件。
  • 模块加载和卸载事件。
  • COM vtable 创建和析构事件。
  • 实时 (JIT) 编译和代码间距调整事件。
  • 类加载和卸载事件。
  • 线程创建和析构事件。
  • 函数入口和退出事件。
  • 异常。
  • 托管和非托管代码执行之间的转换。
  • 不同运行时上下文之间的转换。
  • 有关运行时挂起的信息。
  • 有关运行时内存堆和垃圾回收活动的信息。

这可能要求你掌握 C++ 和 C#, 另外需要注意的是,Profiler 是一个非托管的 DLL 库,会在应用运行时被加载到 CLR 中并与应用处于同一进程空间下,所以 Profiler DLL 实质上是不受托管代码的访问控制的,还有,Profiler DLL 作为 CLR 的一个插件,其运行错误可能会引起 CLR 本身的崩溃,所以你必须要知道这些风险,并且足够小心,最后祝你好运

另外

HttpReports 是针对.Net Core 开发的APM系统, 基于MIT开源协议,针对于微服务场景,感兴趣的同学可以点个 Star 支持下,谢谢, 我们

Github:https://github.com/dotnetcore/HttpReports

posted @ 2020-12-28 08:04  SpringLeee  阅读(2647)  评论(4编辑  收藏  举报