Ocelot（三）- 服务发现

Ocelot（三）- 服务发现

作者：markjiang7m2
原文地址：http://letyouknow.net/ocelot/ocelot-tutorial-3.html
源码地址：https://gitee.com/Sevenm2/OcelotDemo

本文是我关于Ocelot系列文章的第三篇，主要是给大家介绍Ocelot的另一功能。与其说是给大家介绍，不如说是我们一起来共同探讨，因为我也是在一边学习实践的过程中，顺便把学习的过程记录下来罢了。
正如本文要介绍的服务发现，在Ocelot中本该是一个较小的功能，但也许大家也注意到，这篇文章距离我的上一篇文章也有一个星期了。主要是因为Ocelot的服务发现支持提供程序Consul，而我对Consul并不怎么了解，因此花了比较长的时间去倒弄Consul。因为这个是关于Ocelot的系列文章，所以我暂时也不打算在本文中详细介绍Consul的功能以及搭建过程了，可能会在完成Ocelot系列文章后，再整理一篇关于Consul的文章。

关于更多的Ocelot功能介绍，可以查看我的系列文章

• Ocelot - .Net Core开源网关
• Ocelot（二）- 请求聚合与负载均衡

本文中涉及案例的完整代码都可以从我的代码仓库进行下载。

• 仓库地址：https://gitee.com/Sevenm2/OcelotDemo

Ocelot接口更新：进阶请求聚合

好了，也许大家有疑问，为什么在这里又会重提请求聚合的内容？
在上一篇文章Ocelot（二）- 请求聚合与负载均衡中，我曾说到进阶请求聚合中，由于Aggregate方法中提供的参数类型只有List<DownstreamResponse>，但DownstreamResponse中并没有关于ReRouteKeys的信息，所以处理返回结果时，并没有像Ocelot内部返回结果一样使用路由的Key作为属性。
然后，今天我注意到了Ocelot有新版本发布，于是我做了更新，从13.5.0更新到了13.5.1，然后居然是有意外惊喜。
接口方法Aggregate更新如下：
13.5.0

public interface IDefinedAggregator
{
    Task<DownstreamResponse> Aggregate(List<DownstreamResponse> responses);
}

13.5.1

public interface IDefinedAggregator
{
    Task<DownstreamResponse> Aggregate(List<DownstreamContext> responses);
}

参数类型从List<DownstreamResponse>更改为List<DownstreamContext>。我们再来看看DownstreamContext：

public class DownstreamContext
{
    public DownstreamContext(HttpContext httpContext);
<span class="hljs-keyword">public</span> List&lt;PlaceholderNameAndValue&gt; TemplatePlaceholderNameAndValues { <span class="hljs-keyword">get</span>; <span class="hljs-keyword">set</span>; }
<span class="hljs-keyword">public</span> HttpContext HttpContext { <span class="hljs-keyword">get</span>; }
<span class="hljs-keyword">public</span> DownstreamReRoute DownstreamReRoute { <span class="hljs-keyword">get</span>; <span class="hljs-keyword">set</span>; }
<span class="hljs-keyword">public</span> DownstreamRequest DownstreamRequest { <span class="hljs-keyword">get</span>; <span class="hljs-keyword">set</span>; }
<span class="hljs-keyword">public</span> DownstreamResponse DownstreamResponse { <span class="hljs-keyword">get</span>; <span class="hljs-keyword">set</span>; }
<span class="hljs-keyword">public</span> List&lt;Error&gt; Errors { <span class="hljs-keyword">get</span>; }
<span class="hljs-keyword">public</span> IInternalConfiguration Configuration { <span class="hljs-keyword">get</span>; <span class="hljs-keyword">set</span>; }
<span class="hljs-keyword">public</span> <span class="hljs-keyword">bool</span> IsError { <span class="hljs-keyword">get</span>; }

}

事实上，如果你有看过Ocelot内部处理请求聚合部分的代码，就会发现它使用的就是DownstreamContext，而如今Ocelot已经将这些路由，配置，请求，响应，错误等信息都开放出来了。哈哈，当然，GitHub上面的realease note，人家主要是为了让开发者能够捕获处理下游服务发生的错误，更多信息可以查看issue#892和issue#890。

既然如此，那我就按照它内部的输出结果来一遍，当然我这里没有严格按照官方处理过程，只是简单的输出。

public async Task<DownstreamResponse> Aggregate(List<DownstreamContext> responses)
{
    List<string> results = new List<string>();
    var contentBuilder = new StringBuilder();
contentBuilder.Append(<span class="hljs-string">"{"</span>);

<span class="hljs-keyword">foreach</span> (<span class="hljs-keyword">var</span> down <span class="hljs-keyword">in</span> responses)
{
    <span class="hljs-keyword">string</span> content = <span class="hljs-keyword">await</span> down.DownstreamResponse.Content.ReadAsStringAsync();
    results.Add(<span class="hljs-string">$"\"<span class="hljs-subst">{down.DownstreamReRoute.Key}</span>\":<span class="hljs-subst">{content}</span>"</span>);
}
<span class="hljs-comment">//来自leader的声音</span>
results.Add(<span class="hljs-string">$"\"leader\":{{comment:\"我是leader，我组织了他们两个进行调查\"}}"</span>);

contentBuilder.Append(<span class="hljs-keyword">string</span>.Join(<span class="hljs-string">","</span>, results));
contentBuilder.Append(<span class="hljs-string">"}"</span>);

<span class="hljs-keyword">var</span> stringContent = <span class="hljs-keyword">new</span> StringContent(contentBuilder.ToString())
{
    Headers = { ContentType = <span class="hljs-keyword">new</span> MediaTypeHeaderValue(<span class="hljs-string">"application/json"</span>) }
};

<span class="hljs-keyword">var</span> headers = responses.SelectMany(x =&gt; x.DownstreamResponse.Headers).ToList();
<span class="hljs-keyword">return</span> <span class="hljs-keyword">new</span> DownstreamResponse(stringContent, HttpStatusCode.OK, headers, <span class="hljs-string">"some reason"</span>);

}

输出结果：

官方开放了这么多信息，相信开发者还可以使用进阶请求聚合做更多的东西，欢迎大家继续研究探讨，我这里就暂时介绍到这里了。

案例四 服务发现

终于到我们今天的正题——服务发现。关于服务发现，我的个人理解是在这个微服务时代，当下游服务太多的时候，我们就需要找一个专门的工具记录这些服务的地址和端口等信息，这样会更加便于对服务的管理，而当上游服务向这个专门记录的工具查询某个服务信息的过程，就是服务发现。

举个例子，以前我要找的人也就只有Willing和Jack，所以我只要自己用本子（数据库）记住他们两个的位置就可以了，那随着公司发展，部门的人越来越多，他们经常会调换位置，还有入职离职的人员，这就导致我本子记录的信息没有更新，所以我找来了HR部门（Consul）帮忙统一管理，所有人有信息更新都要到HR部门那里进行登记（服务注册），然后当我（上游服务）想找人做某件事情（发出请求）的时候，我先到HR那里查询可以帮我完成这个任务的人员在哪里（服务发现），得到这些人员的位置信息，我也就可以选中某一个人帮我完成任务了。

这里会涉及到的记录工具，就是Consul。流程图如下：

当然了，在上面这个例子中好像没有Ocelot什么事，但是这样就需要我每次要找人的时候，都必须先跑到Consul那里查询一次位置信息，然后再根据位置信息去找对应的人。而其实这个过程我们是可以交给Ocelot来完成的。这样，每个下游服务都不需要单独跑一趟了，只专注于完成自己的任务就可以了。流程图如下：

通常当服务在10个以上的时候可以考虑使用服务发现。

关于Consul的介绍跟使用说明，网上已经有很多相关资料，所以我这里是基于大家都了解Consul的情况下的介绍。
官方建议每个Consul Cluster至少有3个或以上的运行在Server Mode的Agent，Client节点不限。由于我就这么一台机子，又不想搞虚拟机，所以我就直接用了Docker来部署使用Consul。
（可能这里又涉及到了一个Docker的知识点，我这里暂时也不展开细说了。）

因为我电脑的系统是Windows的，所以安装的Docker for Windows。

拉取镜像
Docker安装好之后，就用Windows自带的PowerShell运行下面的命令，拉取官方的Consul镜像。

docker pull consul

启动Consul
节点1

docker run -d -p 8500:8500 --name markserver1 consul agent -server -node marknode1 -bootstrap-expect 3 -data-dir=/tmp/consul -client="0.0.0.0" -ui

-ui 启用 WEB UI，因为Consul节点启动默认占用8500端口，因此8500:8500将节点容器内部的8500端口映射到外部8500，可以方便通过Web的方式查看Consul集群的状态。默认数据中心为dc1。

查看markserver1的IP

docker inspect -f '{{.NetworkSettings.IPAddress}}' markserver1

假设你们跟我一样，获取到的IP地址也是172.17.0.2

节点2

docker run -d --name markserver2 consul agent -server -node marknode2 -join 172.17.0.2

启动节点markserver2，并且将该节点加入到markserver1中（-join 172.17.0.2）

节点3

docker run -d --name markserver3 consul agent -server -node marknode3 -join 172.17.0.2

节点4以Client模式

docker run -d --name markclient1 consul agent -node marknode4 -join 172.17.0.2

没有-server参数，就会新建一个Client节点。

这个时候可以查看一下数据中心dc1的节点

docker exec markserver1 consul members

同时也可以在浏览器查看集群的状态。因为我在节点1中启动了WEB UI，而且映射到外部端口8500，所以我在浏览器直接访问http://localhost:8500/

OK，这样我们就已经启动了Consul，接下来就是将我们的下游服务注册到Consul中。

服务注册
为了能让本案例看到不一样的效果，我特意新建了一个下游服务方法。在OcelotDownAPI项目中的Controller添加

// GET api/ocelot/consulWilling
[HttpGet("consulWilling")]
public async Task<IActionResult> ConsulWilling(int id)
{
    var result = await Task.Run(() =>
    {
        ResponseResult response = new ResponseResult()
        { Comment = $"我是Willing，你可以在Consul那里找到我的信息, host: {HttpContext.Request.Host.Value}, path: {HttpContext.Request.Path}" };
        return response;
    });
    return Ok(result);
}

然后重新发布到本机上的8001和8002端口。

准备好下游服务后，就可以进行注册了。在PowerShell执行下面的命令：
<YourIP>为我本机的IP地址，大家使用时注意替换。这里需要使用IP，而不能直接用localhost或者127.0.0.1，因为我的Consul是部署在Docker里面的，所以当Consul进行HealthCheck时，就无法通过localhost访问到我本机了。

curl http://localhost:8500/v1/agent/service/register -Method PUT -ContentType 'application/json' -Body '{
  "ID": "ocelotService1",  
  "Name": "ocelotService",
  "Tags": [
    "primary",
    "v1"
  ],
  "Address": "localhost",
  "Port": 8001,
  "EnableTagOverride": false,
  "Check": {
    "DeregisterCriticalServiceAfter": "90m",
    "HTTP": "http://<YourIP>:8001/api/ocelot/5",
    "Interval": "10s"
  }
}'

我为了后面能实现负载均衡的效果，因此，也将8002端口的服务也一并注册进来，命令跟上面一样，只是要将端口号更换为8002就可以了。

多说一句，关于这个命令行，其实就是用命令行的方式调用Consul服务注册的接口，所以在实际项目中，可以将这个注册接口调用放在下游服务的Startup.cs中，当下游服务运行即注册，还有注销接口调用也是一样的道理。

服务发现
直接通过浏览器或者PowerShell命令行都可以进行服务发现过程。
浏览器访问http://localhost:8500/v1/catalog/service/ocelotService
或者命令行curl http://localhost:8500/v1/catalog/service/ocelotService

Ocelot添加Consul支持
在OcelotDemo项目中安装Consul支持，命令行或者直接使用Nuget搜索安装

Install-Package Ocelot.Provider.Consul

在Startup.cs的ConfigureServices方法中

services
    .AddOcelot()
    .AddConsul()
    .AddSingletonDefinedAggregator<LeaderAdvancedAggregator>();

Ocelot路由配置
首先在ReRoutes中添加一组路由

{
    "DownstreamPathTemplate": "/api/ocelot/consulWilling",
    "DownstreamScheme": "http",
    "UpstreamPathTemplate": "/ocelot/consulWilling",
    "UpstreamHttpMethod": [ "Get" ],
    "LoadBalancerOptions": {
    "Type": "RoundRobin"
    },
    "ServiceName": "ocelotService",
    "Priority": 2
}

可以发现这一组路由相对其它路由，少了DownstreamHostAndPorts，多了ServiceName，也就是这一组路由的下游服务，不是由Ocelot直接指定，而是通过Consul查询得到。

在GlobalConfiguration添加ServiceDiscoveryProvider，指定服务发现支持程序为Consul。

"GlobalConfiguration": {
"BaseUrl": "http://localhost:4727",
"ServiceDiscoveryProvider": {
    "Host": "localhost",
    "Port": 8500,
    "Type": "Consul"
}
}

运行OcelotDemo，并在浏览器中访问http://localhost:4727/ocelot/consulWilling

因为我们在这组路由中配置了使用轮询的方式进行负载均衡，所以可以看到我们的访问结果中，是分别从8001和8002中轮询访问的。

除了支持Consul，Ocelot还支持Eureka，我这里暂时就不另外做案例了。

动态路由
当使用服务发现提供程序时，Ocelot支持使用动态路由。

上游服务请求Url模板：<Scheme>://<BaseUrl>/<ServiceName>/<ApiPath>/

例如：http://localhost:4727/ocelotService/api/ocelot/consulWilling

当Ocelot接收到请求，会向Consul查询服务ocelotService的信息，例如获取到对应IP为localhost，Port为8001，于是Ocelot会转发请求到http://localhost:8001/api/ocelot/consulWilling.

Ocelot不支持动态路由与ReRoutes配置混合使用，因此，当我们要使用动态路由，就必须要保证ReRoutes中没有配置任何路由。

来看Ocelot.json的配置

{
  "ReRoutes": [],
  "Aggregates": [],
  "GlobalConfiguration": {
    "BaseUrl": "http://localhost:4727",
    "ServiceDiscoveryProvider": {
      "Host": "localhost",
      "Port": 8500,
      "Type": "Consul"
    },
    "DownstreamScheme": "http"
  }
}

这就是使用动态路由最简单的配置，当然，在这种模式下还支持RateLimitOptions，QoSOptions，LoadBalancerOptions和HttpHandlerOptions，DownstreamScheme等配置，也允许针对每个下游服务进行个性化设置，我这里不演示具体案例。

{
    "ReRoutes": [],
    "Aggregates": [],
    "GlobalConfiguration": {
        "RequestIdKey": null,
        "ServiceDiscoveryProvider": {
            "Host": "localhost",
            "Port": 8500,
            "Type": "Consul",
            "Token": null,
            "ConfigurationKey": null
        },
        "RateLimitOptions": {
            "ClientIdHeader": "ClientId",
            "QuotaExceededMessage": null,
            "RateLimitCounterPrefix": "ocelot",
            "DisableRateLimitHeaders": false,
            "HttpStatusCode": 429
        },
        "QoSOptions": {
            "ExceptionsAllowedBeforeBreaking": 0,
            "DurationOfBreak": 0,
            "TimeoutValue": 0
        },
        "BaseUrl": null,
            "LoadBalancerOptions": {
            "Type": "LeastConnection",
            "Key": null,
            "Expiry": 0
        },
        "DownstreamScheme": "http",
        "HttpHandlerOptions": {
            "AllowAutoRedirect": false,
            "UseCookieContainer": false,
            "UseTracing": false
        }
    }
}

运行结果如下：

因为使用动态路由就要清空其它的路由配置，因此，我就不将动态路由这部分的配置commit到仓库中了，大家要使用的时候可将我案例中的配置直接复制到Ocelot.json文件中即可。

总结

Ocelot发布13.5.1这个版本还是挺有惊喜的，而且正巧我刚做完请求聚合的案例，所以也方便大家实践。服务发现，就Ocelot而言只是很小的一个篇幅，因为确实只要配置几个参数就可以灵活运用了，但在于Consul提供程序，还有Docker，这两个都是新的知识点，对于已经接触过的朋友很快就能搭建出来，但对于还没玩过的朋友，就需要花点时间研究。
OK，今天就先跟大家介绍到这里，希望大家能持续关注我们。