Ocelot在github的地址 https://github.com/TomPallister/Ocelot , 非常给力的是在课程当天完成了.NET Core 2.0的升级,升级过程请看https://github.com/TomPallister/Ocelot/issues/114 。昨天我花了半小时就把我的另外一个POC项目Nanofabric https://github.com/geffzhang/NanoFabric 升级到了.NET Core 2.0, 这个POC项目也是我的分享的项目的原型,可以这么说.NET Core 2.0 8月份正式发布,经过3 个月时间的发展,社区生态已经都已经做好了准备,开发新项目可以采用.NET Core 2,Ocelot 是一个集成社区中众多优秀开源项目的代表。
业务的飞速发展,产生的非常多的对外的服务接口,分散在组织的各个地方需要进行统一的管理,而且我们的环境是linux和windows的混合环境,我们的目标是统一在公司的Linux环境,.NET Core对于.NET 技术团队来说是一个非常棒的技术,而且.NET Core本身的架构非常好,性能就更好了。
这里列出了Ocelot目前支持的特性:
- Routing
- 用户可以指定上游请求之间的映射,并将其转发到下游服务上的不同URL。
- Service Discovery
-
- Ocelot可以查看你的服务发现,并找到它应该转发下游请求的服务。它可以在这些服务之间进行负载平衡。.
- Authentication using IdentityServer
- 您可以将端点标记为已认证,并使用IdentityServer承载标记对您的用户进行身份验证.
- Authorisation using Claims
- 如果使用 bearer tokens, 可以使用 claims 标记特定 endpoints是授权的
- Claims Transformation
- Ocelot提供了一种语法来转换给下游请求,并将声明数据添加到标题,URL参数,其他声明等等
- Quality of service
- Retries, circuit breaker, timeouts etc.
- Request / Correlation Ids
- Caching
- Logging
- Custom Middleware
更详细的内容参看文档 https://github.com/TomPallister/Ocelot/wiki
上面介绍了Ocelot的功能特性,接下来我们进入介绍Ocelot 的实现原理剖析,核心是是ASP.NET Core Middleware 以及 ASP.NET Core DependencyInjection:
ASP.NET Core 传统的ASP.NET 在架构上有很大的改进,更加的模块化,下图形象的说明了他们之间区别,Application 和 Middleware 是平等的,比如ASP.NET Core MVC也是一个Middleware,通过Middleware这样的结构我们非常容易的扩展我们的应用程序。
Ocelot就是使用Middleware来完成网关的所有功能,每个小功能就是一个Middleware,具体可以看代码 https://github.com/TomPallister/Ocelot/blob/develop/src/Ocelot/Middleware/OcelotMiddlewareExtensions.cs ,Ocelot 是如何把各个Middleware串起来协同完成一个API网关的功能。 asp.net core 非常巧妙的设计,把Middleware抽象成了一个委托RequestDelegate, ASP.NET Core 的每个 Request 都会经过每个所注册的 Middleware,Response 也是逐一回传,以先进后出的方式处理每一个封包:
具体内容参考: ASP.NET Core HTTP 管道中的那些事儿 和 如何一秒钟从头构建一个 ASP.NET Core 中间件, 我们在Middleware的编程过程中需要关注HttpContext 以及管道的注册者和构建者 ApplicationBuilder。
ASP.NET Core 使用了大量的 DI (Dependency Injection) 设计,同样我们在Ocelot的设计中也使用了大量的DI设计,具体参看源码https://github.com/TomPallister/Ocelot/blob/develop/src/Ocelot/DependencyInjection/ServiceCollectionExtensions.cs
注册 Service 有分三种方式:
- Transient 每次注入时,都重新 new 一个新的实体。
- Scoped 每个 Request 都重新 new 一个新的实体。
- Singleton 程序启动后会 new 一个实体。也就是运行期间只会有一个实体。
下面这张图来自https://blog.johnwu.cc/article/asp-net-core-dependency-injection.html ,形象的演示了对象生命周期。
- A 为 Singleton
- B 为 Scoped
- C 为 Transient
上面介绍完了Ocelot开发的基本原理,目前Ocelot 由17 个Middleware 来完成,在每个Middleware的内部实现上还有涉及到很多业务的知识,本篇文章先不做展开,后续写具体的文章详细解析。接下来我们来说说如何自定义扩展,在我们的项目中主要在三个方面进行了扩展:
1、自定义扩展API 接口验证
Ocelot 默认支持基于IdentityServer4的认证,需要自定义认证,可以参考 https://github.com/TomPallister/Ocelot/pull/110,添加自定义的验证,但是.net core 2.0 认证部分基本上重写了。
2、自定义扩展下游通讯协议
Ocelot 默认支持Http的通讯,在我们的实际项目中有很多老的服务是RPC调用,使用的是私有的Relay通讯框架,在API网关上需要做协议转换,自动将Http的请求转换成Relay的tcp通讯。
3、自定义管理控制台
ocelot 有管理API,可以基于管理API 做自定义的管理控制台,github 有个 https://github.com/dbarkwell/Ocelot.ConfigEditor,这个项目实现了asp.net core mvc 的在线编辑路由。
首先,让我们简单了解下什么是API网关?
API网关是一个服务器,是系统的唯一入口。从面向对象设计的角度看,它与外观模式类似。API网关封装了系统内部架构,为每个客户端提供一个定制的API。它可能还具有其它职责,如身份验证、监控、负载均衡、缓存、请求分片与管理、静态响应处理。
API网关方式的核心要点是,所有的客户端和消费端都通过统一的网关接入微服务,在网关层处理所有的非业务功能。通常,网关也是提供REST/HTTP的访问API。服务端通过API-GW注册和管理服务。
其次,我们了解下Ocelot框架
Ocelot的目标是使用.NET运行微服务/面向服务架构,我们需要一个统一的入口进入我们的服务,提供监控、鉴权、负载均衡等机制,也可以通过编写中间件的形式,来扩展Ocelot的功能。 Ocelot是一堆特定顺序的中间件。
Ocelot框架内部集成了IdentityServer和Consul(服务注册发现),还引入了Polly来处理进行故障处理,关于Polly,可以在这篇博客中了解更多《已被.NET基金会认可的弹性和瞬态故障处理库Polly介绍》
Ocelot开源地址:https://github.com/TomPallister/Ocelot
接下来,我们就针对Ocelot的具体用法展开介绍。
这里使用的Ocelot版本为2.0,.Net Core版本2.0
1、搭建Asp.net Core WebApi项目,引用Ocelot.dll。
Nuget控制台,执行Ocelot安装。
1
|
PM>Install-Package Ocelot |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
GET https: //api .nuget.org /v3/registration3-gz-semver2/ocelot/index .json OK https: //api .nuget.org /v3/registration3-gz-semver2/ocelot/index .json 104 毫秒 GET https: //api .nuget.org /v3/registration3-gz-semver2/ocelot/page/1 .5.0-unstable0134 /2 .0.0.json OK https: //api .nuget.org /v3/registration3-gz-semver2/ocelot/page/1 .5.0-unstable0134 /2 .0.0.json 108 毫秒 正在还原 J:\Demo\RichCodeBox\APIGatewayApp\APIGatewayApp.csproj 的包... GET https: //api .nuget.org /v3-flatcontainer/ocelot/index .json OK https: //api .nuget.org /v3-flatcontainer/ocelot/index .json 476 毫秒 GET https: //api .nuget.org /v3-flatcontainer/ocelot/2 .0.0 /ocelot .2.0.0.nupkg OK https: //api .nuget.org /v3-flatcontainer/ocelot/2 .0.0 /ocelot .2.0.0.nupkg 125 毫秒 GET https: //api .nuget.org /v3-flatcontainer/identityserver4 .accesstokenvalidation /index .json GET https: //api .nuget.org /v3-flatcontainer/cachemanager .core /index .json GET https: //api .nuget.org /v3-flatcontainer/cachemanager .microsoft.extensions.configuration /index .json GET https: //api .nuget.org /v3-flatcontainer/cachemanager .microsoft.extensions.logging /index .json GET https: //api .nuget.org /v3-flatcontainer/consul/index .json GET https: //api .nuget.org /v3-flatcontainer/polly/index .json GET https: //api .nuget.org /v3-flatcontainer/identityserver4/index .json OK https: //api .nuget.org /v3-flatcontainer/identityserver4 .accesstokenvalidation /index .json 133 毫秒 GET https: //api .nuget.org /v3-flatcontainer/identityserver4 .accesstokenvalidation /2 .1.0 /identityserver4 .accesstokenvalidation.2.1.0.nupkg OK https: //api .nuget.org /v3-flatcontainer/cachemanager .microsoft.extensions.logging /index .json 286 毫秒 OK https: //api .nuget.org /v3-flatcontainer/polly/index .json 287 毫秒 OK https: //api .nuget.org /v3-flatcontainer/identityserver4 .accesstokenvalidation /2 .1.0 /identityserver4 .accesstokenvalidation.2.1.0.nupkg 160 毫秒 GET https: //api .nuget.org /v3-flatcontainer/cachemanager .microsoft.extensions.logging /1 .1.1 /cachemanager .microsoft.extensions.logging.1.1.1.nupkg |
2、修改Startup程序。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
/// <summary> /// /// </summary> /// <param name="environment"></param> public Startup(IHostingEnvironment environment) { var builder = new Microsoft.Extensions.Configuration.ConfigurationBuilder(); builder.SetBasePath(environment.ContentRootPath) .AddJsonFile( "appsettings.json" , false , reloadOnChange: true ) .AddJsonFile($ "appsettings.{environment.EnvironmentName}.json" , optional: false , reloadOnChange: true ) .AddJsonFile( "configuration.json" , optional: false , reloadOnChange: true ) .AddEnvironmentVariables(); Configuration = builder.Build(); } |
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
|
/// <summary> ///modified:配置 /// </summary> public IConfigurationRoot Configuration { get ; } /// <summary> /// 配置服务 /// </summary> /// <param name="services"></param> public void ConfigureServices(IServiceCollection services) { Action<ConfigurationBuilderCachePart> settings = (x) => { x.WithMicrosoftLogging(log => { log.AddConsole(LogLevel.Debug); }).WithDictionaryHandle(); }; services.AddOcelot(Configuration, settings); //services.AddMvc(); } /// <summary> /// 配置Ocelot /// </summary> /// <param name="app"></param> /// <param name="env"></param> public async void Configure(IApplicationBuilder app, IHostingEnvironment env) { //if (env.IsDevelopment()) //{ // app.UseDeveloperExceptionPage(); //} await app.UseOcelot(); //app.UseMvc(); } /// <summary> /// 入口程序 /// </summary> /// <param name="args"></param> public static void Main( string [] args) { IWebHostBuilder builder = new WebHostBuilder(); builder.ConfigureServices(s => { s.AddSingleton(builder); }); builder.UseKestrel() .UseContentRoot(Directory.GetCurrentDirectory()) .UseIISIntegration() .UseStartup<Startup>() .UseApplicationInsights(); var host = builder.Build(); host.Run(); } |
3、配置Ocelot。
我们新建一个名为configuration的json文件,配置如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
|
{ "ReRoutes" : [ { "DownstreamPathTemplate" : "/api/values" , "DownstreamScheme" : "http" , "DownstreamHost" : "localhost" , "DownstreamPort" : 8801, "UpstreamPathTemplate" : "/api/values" , "UpstreamHttpMethod" : [ "Get" ], "QoSOptions" : { "ExceptionsAllowedBeforeBreaking" : 3, "DurationOfBreak" : 10, "TimeoutValue" : 5000 }, "HttpHandlerOptions" : { "AllowAutoRedirect" : false , "UseCookieContainer" : false }, "AuthenticationOptions" : { } }, { "DownstreamPathTemplate" : "/api/product" , "DownstreamScheme" : "http" , "DownstreamPort" : 8802, "DownstreamHost" : "localhost" , "UpstreamPathTemplate" : "/api/product" , "UpstreamHttpMethod" : [ "Get" ], "QoSOptions" : { "ExceptionsAllowedBeforeBreaking" : 3, "DurationOfBreak" : 10, "TimeoutValue" : 5000 }, "AuthenticationOptions" : { } } ], "GlobalConfiguration" : { "RequestIdKey" : "OcRequestId" , "AdministrationPath" : "/admin" } } |
在这里,我们配置了两个服务,端口分别为8801和8802的。
Ocelot支持负载均衡(提供轮询、最少访问)。Ocelot大部分功能,都可以通过中间件来完成,也可以实现和重写中间件。
Ocelot原理非常简单,这里的配置文件,体现了上游请求和下游服务间的映射关系,你可以理解为,上游是客户端直接调用的URL ,下游,则是对应我们开发的服务。
4、新增两个WebApi项目,分别为APIUserServiec和APIProductService。
API服务 | 端口(Port) |
APIUserServiec | 8801 |
APIProductService | 8802 |
解决方案如下:
5、配置VS启动端口:
依次类推,分别设置端口。
6、启动项目。
配置多个项目启动。
F5启动项目。
再通过API网关,访问商品服务:http://localhost:5000/api/product。
常见问题:
首次在启动API网关时,触发以下错误。
Sequence contains no matching element
根据错误详细信息,可知原因是由于系统调用AddIdentityServer方法时,触发异常。
刚开始,怀疑是配置文件configuration.json文件配置导致的,Ocelot2.0版,采用官方配置仍然触发该异常,由此排除这种可能。接下来,直接从github上克隆源代码,查看。
找到触发错误的地方,
var whb = services.First(x => x.ServiceType == typeof(IWebHostBuilder));
这就代码触发了错误,是由于表达式条件不成立,导致First发生异常,这就简单了,我们修改Main函数,
把这句代码:
var builder = new WebHostBuilder();
改成:
IWebHostBuilder builder = new WebHostBuilder();
这样,就解决了问题,API网关启动成功。另外,官方例子https://github.com/TomPallister/Ocelot/blob/develop/test/Ocelot.ManualTest/Program.cs中,写法是正确的,大家自己写的时候,注意把IWebHostBuilder换成var会引发错误。
这样,使用Ocelot框架搭建API网关的工作已经完成,尝试通过访问API网关,来访问下游的服务。
此实例源码:https://gitee.com/lichaoqiang/RichCodeBox.git
欢迎大家一起研究探讨,开启你的微服务之路。