Dubbo的使用简介
一、Dubbo是什么
官方定义
DUBBO是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。
详细理解,就是
Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和spring框架无缝集成。是一个分布式服务框架,以及SOA治理方案。其功能主要包括:高性能NIO通讯及多协议集成,服务动态寻址与路由,软负载均衡与容错,依赖分析与降级等。
这里有几个专业名词:1.RPC,2.分布式,3.SOA,如果这几个名词有不懂的,可能理解起来就有点吃力,要回去做功课了。
通俗理解,就是在分布式系统中的一种RPC技术,通过Dubbo可以实现系统或应用之间的通信,实现应用间的解耦合(或者最大限度地松耦合)等。
二、Dubbo的由来
1.背景
随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。
- 单一应用架构
- 当网站流量很小时,只需一个应用,将所有功能都部署在一起,以减少部署节点和成本。
- 此时,用于简化增删改查工作量的 数据访问框架(ORM) 是关键。
- 垂直应用架构
- 当访问量逐渐增大,单一应用增加机器带来的加速度越来越小,将应用拆成互不相干的几个应用,以提升效率。
- 此时,用于加速前端页面开发的 Web框架(MVC) 是关键。
- 分布式服务架构
- 当垂直应用越来越多,应用之间交互不可避免,将核心业务抽取出来,作为独立的服务,逐渐形成稳定的服务中心,使前端应用能更快速的响应多变的市场需求。
- 此时,用于提高业务复用及整合的 分布式服务框架(RPC) 是关键。
- 流动计算架构
- 当服务越来越多,容量的评估,小服务资源的浪费等问题逐渐显现,此时需增加一个调度中心基于访问压力实时管理集群容量,提高集群利用率。
- 此时,用于提高机器利用率的 资源调度和治理中心(SOA) 是关键。
2.需求
在大规模服务化之前,应用可能只是通过RMI或Hessian等工具,简单的暴露和引用远程服务,通过配置服务的URL地址进行调用,通过F5等硬件进行负载均衡。
(1) 当服务越来越多时,服务URL配置管理变得非常困难,F5硬件负载均衡器的单点压力也越来越大。
此时需要一个服务注册中心,动态的注册和发现服务,使服务的位置透明。
并通过在消费方获取服务提供方地址列表,实现软负载均衡和Failover,降低对F5硬件负载均衡器的依赖,也能减少部分成本。
(2) 当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪个应用要在哪个应用之前启动,架构师都不能完整的描述应用的架构关系。
这时,需要自动画出应用间的依赖关系图,以帮助架构师理清理关系。
(3) 接着,服务的调用量越来越大,服务的容量问题就暴露出来,这个服务需要多少机器支撑?什么时候该加机器?
为了解决这些问题,第一步,要将服务现在每天的调用量,响应时间,都统计出来,作为容量规划的参考指标。
其次,要可以动态调整权重,在线上,将某台机器的权重一直加大,并在加大的过程中记录响应时间的变化,直到响应时间到达阀值,记录此时的访问量,再以此访问量乘以机器数反推总容量。
以上是Dubbo最基本的几个需求,更多服务治理问题参见:
http://code.alibabatech.com/blog/experience_1402/service-governance-process.html
3.架构设计图
节点角色说明:
- Provider: 暴露服务的服务提供方。
- Consumer: 调用远程服务的服务消费方。
- Registry: 服务注册与发现的注册中心。
- Monitor: 统计服务的调用次调和调用时间的监控中心。
- Container: 服务运行容器。
调用关系说明:
- 0. 服务容器负责启动,加载,运行服务提供者。
- 1. 服务提供者在启动时,向注册中心注册自己提供的服务。
- 2. 服务消费者在启动时,向注册中心订阅自己所需的服务。
- 3. 注册中心返回服务提供者地址列表给消费者,如果有变更,注册中心将基于长连接推送变更数据给消费者。
- 4. 服务消费者,从提供者地址列表中,基于软负载均衡算法,选一台提供者进行调用,如果调用失败,再选另一台调用。
- 5. 服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。
4.Dubbo的总体架构
Dubbo框架设计一共划分了10个层,而最上面的Service层是留给实际想要使用Dubbo开发分布式服务的开发者实现业务逻辑的接口层。图中左边淡蓝背景的为服务消费方使用的接口,右边淡绿色背景的为服务提供方使用的接口, 位于中轴线上的为双方都用到的接口。
下面,结合Dubbo官方文档,我们分别理解一下框架分层架构中,各个层次的设计要点:
1.服务接口层(Service):该层是与实际业务逻辑相关的,根据服务提供方和服务消费方的业务设计对应的接口和实现。 2.配置层(Config):对外配置接口,以ServiceConfig和ReferenceConfig为中心,可以直接new配置类,也可以通过spring解析配置生成配置类。 3.服务代理层(Proxy):服务接口透明代理,生成服务的客户端Stub和服务器端Skeleton,以ServiceProxy为中心,扩展接口为ProxyFactory。 4.服务注册层(Registry):封装服务地址的注册与发现,以服务URL为中心,扩展接口为RegistryFactory、Registry和RegistryService。可能没有服务注册中心,此时服务提供方直接暴露服务。 5.集群层(Cluster):封装多个提供者的路由及负载均衡,并桥接注册中心,以Invoker为中心,扩展接口为Cluster、Directory、Router和LoadBalance。将多个服务提供方组合为一个服务提供方,实现对服务消费方来透明,只需要与一个服务提供方进行交互。 6.监控层(Monitor):RPC调用次数和调用时间监控,以Statistics为中心,扩展接口为MonitorFactory、Monitor和MonitorService。 7.远程调用层(Protocol):封将RPC调用,以Invocation和Result为中心,扩展接口为Protocol、Invoker和Exporter。Protocol是服务域,它是Invoker暴露和引用的主功能入口,它负责Invoker的生命周期管理。Invoker是实体域,它是Dubbo的核心模型,其它模型都向它靠扰,或转换成它,它代表一个可执行体,可向它发起invoke调用,它有可能是一个本地的实现,也可能是一个远程的实现,也可能一个集群实现。 8.信息交换层(Exchange):封装请求响应模式,同步转异步,以Request和Response为中心,扩展接口为Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer。 9.网络传输层(Transport):抽象mina和netty为统一接口,以Message为中心,扩展接口为Channel、Transporter、Client、Server和Codec。 10.数据序列化层(Serialize):可复用的一些工具,扩展接口为Serialization、 ObjectInput、ObjectOutput和ThreadPool。
从上图可以看出,Dubbo对于服务提供方和服务消费方,从框架的10层中分别提供了各自需要关心和扩展的接口,构建整个服务生态系统(服务提供方和服务消费方本身就是一个以服务为中心的)。
根据官方提供的,对于上述各层之间关系的描述,如下所示:
> 在RPC中,Protocol是核心层,也就是只要有Protocol + Invoker + Exporter就可以完成非透明的RPC调用,然后在Invoker的主过程上Filter拦截点。 > 图中的Consumer和Provider是抽象概念,只是想让看图者更直观的了解哪些类分属于客户端与服务器端,不用Client和Server的原因是Dubbo在很多场景下都使用Provider、Consumer、Registry、Monitor划分逻辑拓普节点,保持统一概念。 > 而Cluster是外围概念,所以Cluster的目的是将多个Invoker伪装成一个Invoker,这样其它人只要关注Protocol层Invoker即可,加上Cluster或者去掉Cluster对其它层都不会造成影响,因为只有一个提供者时,是不需要Cluster的。 > Proxy层封装了所有接口的透明化代理,而在其它层都以Invoker为中心,只有到了暴露给用户使用时,才用Proxy将Invoker转成接口,或将接口实现转成Invoker,也就是去掉Proxy层RPC是可以Run的,只是不那么透明,不那么看起来像调本地服务一样调远程服务。 > 而Remoting实现是Dubbo协议的实现,如果你选择RMI协议,整个Remoting都不会用上,Remoting内部再划为Transport传输层和Exchange信息交换层,Transport层只负责单向消息传输,是对Mina、Netty、Grizzly的抽象,它也可以扩展UDP传输,而Exchange层是在传输层之上封装了Request-Response语义。 > Registry和Monitor实际上不算一层,而是一个独立的节点,只是为了全局概览,用层的方式画在一起。
5.设计的优势
(1) 连通性:
- 注册中心负责服务地址的注册与查找,相当于目录服务,服务提供者和消费者只在启动时与注册中心交互,注册中心不转发请求,压力较小
- 监控中心负责统计各服务调用次数,调用时间等,统计先在内存汇总后每分钟一次发送到监控中心服务器,并以报表展示
- 服务提供者向注册中心注册其提供的服务,并汇报调用时间到监控中心,此时间不包含网络开销
- 服务消费者向注册中心获取服务提供者地址列表,并根据负载算法直接调用提供者,同时汇报调用时间到监控中心,此时间包含网络开销
- 注册中心,服务提供者,服务消费者三者之间均为长连接,监控中心除外
- 注册中心通过长连接感知服务提供者的存在,服务提供者宕机,注册中心将立即推送事件通知消费者
- 注册中心和监控中心全部宕机,不影响已运行的提供者和消费者,消费者在本地缓存了提供者列表
- 注册中心和监控中心都是可选的,服务消费者可以直连服务提供者
(2) 健状性:
- 监控中心宕掉不影响使用,只是丢失部分采样数据
- 数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务
- 注册中心对等集群,任意一台宕掉后,将自动切换到另一台
- 注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯
- 服务提供者无状态,任意一台宕掉后,不影响使用
- 服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复
(3) 伸缩性:
- 注册中心为对等集群,可动态增加机器部署实例,所有客户端将自动发现新的注册中心
- 服务提供者无状态,可动态增加机器部署实例,注册中心将推送新的服务提供者信息给消费者
(4) 升级性:
- 当服务集群规模进一步扩大,带动IT治理结构进一步升级,需要实现动态部署,进行流动计算,现有分布式服务架构不会带来阻力:
三、如何使用Dubbo
由于Dubbo无缝的集成了spring,所以我们使用起来还是很方便的,
本地服务:(Spring配置)
local.xml
1 <bean id=“xxxService” class=“com.xxx.XxxServiceImpl” /> 2 3 <bean id=“xxxAction” class=“com.xxx.XxxAction”> 4 <property name=“xxxService” ref=“xxxService” /> 5 </bean>
远程服务:(Spring配置)
在本地服务的基础上,只需做简单配置,即可完成远程化:
- 将上面的local.xml配置拆分成两份,将服务定义部分放在服务提供方remote-provider.xml,将服务引用部分放在服务消费方remote-consumer.xml。
- 并在提供方增加暴露服务配置<dubbo:service>,在消费方增加引用服务配置<dubbo:reference>。
如下:
服务提供者:remote-provider.xml
1 <bean id=“xxxService” class=“com.xxx.XxxServiceImpl” /> <!-- 和本地服务一样实现远程服务 --> 2 3 <dubbo:service interface=“com.xxx.XxxService” ref=“xxxService” /> <!-- 增加暴露远程服务配置 -->
服务消费者:remote-consumer.xml
1 <dubbo:reference id=“xxxService” interface=“com.xxx.XxxService” /> <!-- 增加引用远程服务配置 --> 2 3 <bean id=“xxxAction” class=“com.xxx.XxxAction”> <!-- 和本地服务一样使用远程服务 --> 4 <property name=“xxxService” ref=“xxxService” /> 5 </bean>
Dubbo采用全Spring配置方式,透明化接入应用,对应用没有任何API侵入,只需用Spring加载Dubbo的配置即可,Dubbo基于Spring的Schema扩展进行加载。
1.示例
服务提供者
定义服务接口: (该接口需单独打包,在服务提供方和消费方共享)
1
2
3
4
5
6
7
|
package com.alibaba.dubbo.demo; public interface DemoService { String sayHello(String name); } |
在服务提供方实现接口:(对服务消费方隐藏实现)
1
2
3
4
5
6
7
8
9
10
11
|
package com.alibaba.dubbo.demo.provider; import com.alibaba.dubbo.demo.DemoService; public class DemoServiceImpl implements DemoService { public String sayHello(String name) { return "Hello " + name; } } |
用Spring配置声明暴露服务:provider.xml
1 <?xml version="1.0" encoding="UTF-8"?> 2 <beans xmlns="http://www.springframework.org/schema/beans" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" 5 xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd"> 6 7 <!-- 提供方应用信息,用于计算依赖关系 --> 8 <dubbo:application name="hello-world-app" /> 9 10 <!-- 使用multicast广播注册中心暴露服务地址 --> 11 <dubbo:registry address="multicast://224.5.6.7:1234" /> 12 13 <!-- 用dubbo协议在20880端口暴露服务 --> 14 <dubbo:protocol name="dubbo" port="20880" /> 15 16 <!-- 声明需要暴露的服务接口 --> 17 <dubbo:service interface="com.alibaba.dubbo.demo.DemoService" ref="demoService" /> 18 19 <!-- 和本地bean一样实现服务 --> 20 <bean id="demoService" class="com.alibaba.dubbo.demo.provider.DemoServiceImpl" /> 21 22 </beans>
加载Spring配置:
1 import org.springframework.context.support.ClassPathXmlApplicationContext; 2 3 public class Provider { 4 5 public static void main(String[] args) throws Exception { 6 ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext(new String[] {"http://10.20.160.198/wiki/display/dubbo/provider.xml"}); 7 context.start(); 8 9 System.in.read(); // 按任意键退出 10 } 11 12 }
服务消费者
通过Spring配置引用远程服务:consumer.xml
1 <?xml version="1.0" encoding="UTF-8"?> 2 <beans xmlns="http://www.springframework.org/schema/beans" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xmlns:dubbo="http://code.alibabatech.com/schema/dubbo" 5 xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://code.alibabatech.com/schema/dubbo http://code.alibabatech.com/schema/dubbo/dubbo.xsd"> 6 7 <!-- 消费方应用名,用于计算依赖关系,不是匹配条件,不要与提供方一样 --> 8 <dubbo:application name="consumer-of-helloworld-app" /> 9 10 <!-- 使用multicast广播注册中心暴露发现服务地址 --> 11 <dubbo:registry address="multicast://224.5.6.7:1234" /> 12 13 <!-- 生成远程服务代理,可以和本地bean一样使用demoService --> 14 <dubbo:reference id="demoService" interface="com.alibaba.dubbo.demo.DemoService" /> 15 16 </beans>
加载Spring配置,并调用远程服务:(也可以使用IoC注入)
1 import org.springframework.context.support.ClassPathXmlApplicationContext; 2 import com.alibaba.dubbo.demo.DemoService; 3 4 public class Consumer { 5 6 public static void main(String[] args) throws Exception { 7 ClassPathXmlApplicationContext context = new ClassPathXmlApplicationContext(new String[] {"http://10.20.160.198/wiki/display/dubbo/consumer.xml"}); 8 context.start(); 9 10 DemoService demoService = (DemoService)context.getBean("demoService"); // 获取远程服务代理 11 String hello = demoService.sayHello("world"); // 执行远程方法 12 13 System.out.println( hello ); // 显示调用结果 14 } 15 16 }
2.其他广播方式
示例中使用的是multicast广播暴露和发现服务的,当然还有其他的方式,现在使用最多的是ZooKeeper
如果使用ZooKeeper则配置修改为:
1 <dubbo:registry address="multicast://224.5.6.7:1234" /> 2 替换为 3 <dubbo:registry protocol="zookeeper" address="192.168.17.129:2181,192.168.17.129:2182,192.168.17.129:2183" /> 或者 4 <dubbo:registry address="zookeeper://192.168.17.129:2181?backup=192.168.17.129:2182,192.168.17.129:2183" />
服务提供者和服务消费者做相同的修改
3.说明
以上是Dubbo的XML配置,Dubbo还支持属性配置,注解配置,API配置,下面介绍下API配置,另外两种配置方式,感兴趣的朋友可以去Dubbo官网去看下:Dubbo
如果不想使用Spring配置,而希望通过API的方式进行调用(官方不推荐)则
(1) 服务提供者:
1 import com.alibaba.dubbo.rpc.config.ApplicationConfig; 2 import com.alibaba.dubbo.rpc.config.RegistryConfig; 3 import com.alibaba.dubbo.rpc.config.ProviderConfig; 4 import com.alibaba.dubbo.rpc.config.ServiceConfig; 5 import com.xxx.XxxService; 6 import com.xxx.XxxServiceImpl; 7 8 // 服务实现 9 XxxService xxxService = new XxxServiceImpl(); 10 11 // 当前应用配置 12 ApplicationConfig application = new ApplicationConfig(); 13 application.setName("xxx"); 14 15 // 连接注册中心配置 16 RegistryConfig registry = new RegistryConfig(); 17 registry.setAddress("10.20.130.230:9090"); 18 registry.setUsername("aaa"); 19 registry.setPassword("bbb"); 20 21 // 服务提供者协议配置 22 ProtocolConfig protocol = new ProtocolConfig(); 23 protocol.setName("dubbo"); 24 protocol.setPort(12345); 25 protocol.setThreads(200); 26 27 // 注意:ServiceConfig为重对象,内部封装了与注册中心的连接,以及开启服务端口 28 29 // 服务提供者暴露服务配置 30 ServiceConfig<XxxService> service = new ServiceConfig<XxxService>(); // 此实例很重,封装了与注册中心的连接,请自行缓存,否则可能造成内存和连接泄漏 31 service.setApplication(application); 32 service.setRegistry(registry); // 多个注册中心可以用setRegistries() 33 service.setProtocol(protocol); // 多个协议可以用setProtocols() 34 service.setInterface(XxxService.class); 35 service.setRef(xxxService); 36 service.setVersion("1.0.0"); 37 38 // 暴露及注册服务 39 service.export();
(2) 服务消费者:
1 import com.alibaba.dubbo.rpc.config.ApplicationConfig; 2 import com.alibaba.dubbo.rpc.config.RegistryConfig; 3 import com.alibaba.dubbo.rpc.config.ConsumerConfig; 4 import com.alibaba.dubbo.rpc.config.ReferenceConfig; 5 import com.xxx.XxxService; 6 7 // 当前应用配置 8 ApplicationConfig application = new ApplicationConfig(); 9 application.setName("yyy"); 10 11 // 连接注册中心配置 12 RegistryConfig registry = new RegistryConfig(); 13 registry.setAddress("10.20.130.230:9090"); 14 registry.setUsername("aaa"); 15 registry.setPassword("bbb"); 16 17 // 注意:ReferenceConfig为重对象,内部封装了与注册中心的连接,以及与服务提供方的连接 18 19 // 引用远程服务 20 ReferenceConfig<XxxService> reference = new ReferenceConfig<XxxService>(); // 此实例很重,封装了与注册中心的连接以及与提供者的连接,请自行缓存,否则可能造成内存和连接泄漏 21 reference.setApplication(application); 22 reference.setRegistry(registry); // 多个注册中心可以用setRegistries() 23 reference.setInterface(XxxService.class); 24 reference.setVersion("1.0.0"); 25 26 // 和本地bean一样使用xxxService 27 XxxService xxxService = reference.get(); // 注意:此代理对象内部封装了所有通讯细节,对象较重,请缓存复用
四、Dubbo的一些相关疑问
1.Dubbo适用于哪些场景?
当网站变大后,不可避免的需要拆分应用进行服务化,以提高开发效率,调优性能,节省关键竞争资源等。
当服务越来越多时,服务的URL地址信息就会爆炸式增长,配置管理变得非常困难,F5硬件负载均衡器的单点压力也越来越大。
当进一步发展,服务间依赖关系变得错踪复杂,甚至分不清哪个应用要在哪个应用之前启动,架构师都不能完整的描述应用的架构关系。
接着,服务的调用量越来越大,服务的容量问题就暴露出来,这个服务需要多少机器支撑?什么时候该加机器?等等……
在遇到这些问题时,都可以用Dubbo来解决。
可参见:Dubbo的背景及需求
2.Dubbo的需求和依赖情况?
Dubbo运行JDK1.5之上,缺省依赖javassist、netty、spring等包,但不是必须依赖,通过配置Dubbo可不依赖任何三方库运行。
可参见:用户指南 - 依赖
3.Dubbo的性能如何?
Dubbo通过长连接减少握手,通过NIO及线程池在单连接上并发拼包处理消息,通过二进制流压缩数据,比常规HTTP等短连接协议更快。在阿里巴巴内部,每天支撑2000多个服务,30多亿访问量,最大单机支撑每天近1亿访问量。
可参见:Dubbo性能测试报告
4.和淘宝HSF相比,Dubbo的特点是什么?
- Dubbo比HSF的部署方式更轻量,HSF要求使用指定的JBoss等容器,还需要在JBoss等容器中加入sar包扩展,对用户运行环境的侵入性大,如果你要运行在Weblogic或Websphere等其它容器上,需要自行扩展容器以兼容HSF的ClassLoader加载,而Dubbo没有任何要求,可运行在任何Java环境中。
- Dubbo比HSF的扩展性更好,很方便二次开发,一个框架不可能覆盖所有需求,Dubbo始终保持平等对待第三方理念,即所有功能,都可以在不修改Dubbo原生代码的情况下,在外围扩展,包括Dubbo自己内置的功能,也和第三方一样,是通过扩展的方式实现的,而HSF如果你要加功能或替换某部分实现是很困难的,比如支付宝和淘宝用的就是不同的HSF分支,因为加功能时改了核心代码,不得不拷一个分支单独发展,HSF现阶段就算开源出来,也很难复用,除非对架构重写。
- HSF依赖比较多内部系统,比如配置中心,通知中心,监控中心,单点登录等等,如果要开源还需要做很多剥离工作,而Dubbo为每个系统的集成都留出了扩展点,并已梳理干清所有依赖,同时为开源社区提供了替代方案,用户可以直接使用。
- Dubbo比HSF的功能更多,除了ClassLoader隔离,Dubbo基本上是HSF的超集,Dubbo也支持更多协议,更多注册中心的集成,以适应更多的网站架构。
5.Dubbo在安全机制方面是如何解决的?
Dubbo主要针对内部服务,对外的服务,阿里有开放平台来处理安全和流控,所以Dubbo在安全方面实现的功能较少,基本上只防君子不防小人,只防止误调用。
Dubbo通过Token令牌防止用户绕过注册中心直连,然后在注册中心上管理授权。Dubbo还提供服务黑白名单,来控制服务所允许的调用方。
可参见:Dubbo的令牌验证
五、Dubbo开发团队
钱钟书曾说 "鸡蛋好吃就行了,为什么还要认识下蛋的母鸡",但是我们还是要认识一下Dubbo的开发团队的,都是哪些大牛?
Dubbo共有六个开发人员参与开发和测试,每一个开发人员都是很有经验,团队合作很默契,开发过程也很有节奏,有完善质量保障流程。团队组成:
- 梁飞 (开发人员/产品管理)
- 刘昊旻 (开发人员/过程管理)
- 刘超 (开发人员/用户支持)
- 李鼎 (开发人员/用户支持)
- 陈雷 (开发人员/质量保障)
- 闾刚 (开发人员/开源运维)
从左至右:刘超,梁飞,闾刚,陈雷,刘昊旻,李鼎