SpringBoot学习笔记（十一）

本文主要介绍 SpringBoot 集成Dubbo、Zookeeper

一、什么是分布式

在《分布式系统原则与范型》一书中有定义：“分布式体统是若干独立计算机的集合，这些计算机对用户来说就像单个相关的系统”；
分布式系统是由一组通过网络进行通信，为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通机器完成单个计算机无法完成的计算、存储任务。其目的是利用更多的机器，处理更多的数据。

分布式系统（distributed system）是建立在网络之上的软件系统。
首先需要明确的是，只有当单个节点的处理能力无法满足日益层长的计算、存储任务的时候，且硬件的提升（加内存、加磁盘、使用更好的CPU）高昂到得不偿失的时候，应用程序也不能进一步优化的时候，我们才需要考虑分布式。因为，分布式系统要解决的问题本身就是和单机系统一样的，而由于分布式系统多个节点、通过网络通信的拓扑结构，会引入很多单机系统没有的问题，为了解决这些问题又会引入更多的机制、协调，带来更多的问题。

在 Dubbo 官方文档中用这样的描述：

image

单一应用架构
当网站流量很小时，只需一个应用，将所有功能都部署在一起，以减少部署节点和成本。此时，用于简化增删改查工作量的数据访问框架(ORM)是关键。

image

实用于小型管理系统，将所用功能都部署在一个功能里，简单易用。
缺点：
1.性能扩展比较难；
2.不易于协同开发
3.不利于升级维护

垂直应用架构
当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，提升效率的方法之一是将应用拆成互不相干的几个应用，以提升效率。此时，用于加速前端页面开发的Web框架(MVC)是关键。

image

通过切分业务来实现各个模块独立部署，降低了维护和部署的难度，团队各司其职，更容易维护和管理，提高了可扩展性。
缺点：公用模块无法重复利用。

分布式服务架构
当垂直应用越来越多，应用之间交互不可避免，将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，使前端应用能更快速的响应多变的市场需求。此时，用于提高业务复用及整合的分布式服务框架(RPC)是关键。

image

流动计算架构
当服务越来越多，容量的评估，小服务资源的浪费等问题逐渐显现，此时需增加一个调度中心基于访问压力实时管理集群容量，提高集群利用率。此时，用于提高机器利用率的资源调度和治理中心(SOA)是关键。

image

  • RPC
    RPC（Remote Procedure Call）是指远程过程调用，是一种进程间通信方式，它是一种技术思想，而不是规范。它允许程序调用另外一个地址空间（通常是共享网络的另一台机器）的过程或函数，而不用程序员显示编码这个远程调用的细节。即程序员无论是调用本地的还是远程的函数，本质上编写的调用代码基本相同。

RPC 基本原理：

image

步骤分析：

image

RPC的两个核心：通讯和序列化。

二、Dubbo

随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已经无法应对，分布式服务架构以及流动计算机架构势在必行，急需一个治理系统确保架构有条不絮的演进。

Dubbo：Apache Dubbo |ˈdʌbəʊ| 提供了六大核心能力：面向接口代理的高性能RPC调用，智能容错和负载均衡，服务自动注册和发现，高度可扩展能力，运行期流量调度，可视化的服务治理与运维。

Dubbo官网：https://dubbo.apache.org/zh/

image

  • Dubbo 要解决的需求

image

  • Dubbo 架构

image

节点角色说明：

节点 角色说明
Provider 暴露服务的服务提供方
Consumer 调用远程服务的服务消费方
Registry 服务注册与发现的注册中心
Monitor 统计服务的调用次数和调用时间的监控中心
Container 服务运行容器

调用关系说明:
0.服务容器负责启动，加载，运行服务提供者。
1.服务提供者在启动时，向注册中心注册自己提供的服务。
2.服务消费者在启动时，向注册中心订阅自己所需的服务。
3.注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接推送变更数据给消费者。
4.服务消费者，从提供者地址列表中，基于软负载均衡算法，选一台提供者进行调用，如果调用失败，再选另一台调用。
5.服务消费者和提供者，在内存中累计调用次数和调用时间，定时每分钟发送一次统计数据到监控中心。

Dubbo 架构具有以下几个特点，分别是连通性、健壮性、伸缩性、以及向未来架构的升级性。

三、Zookeeper

Dubbo 官方文档推荐使用 Zookeeper 注册中心。

ZooKeeper是一种针对分布式应用程序的高性能协调服务。它在一个简单的界面中公开了公共服务，比如命名、配置管理、同步和组服务，这样您就不必从头开始编写它们。您可以使用现成的工具来实现共识、组管理、领导人选举和在场协议。你可以根据自己的具体需要来做。

Zookeeper 官网：https://zookeeper.apache.org/

image

1.Windows安装Zookeeper

Zookeeper 下载：https://zookeeper.apache.org/releases.html

image

2.解压后，进入 bin目录（我这里是：E:\Zookeeper\apache-zookeeper-3.7.0-bin\bin）
用 cmd命令 或者 双击：zkServer.cmd，发现双击后会闪退，打开 zkServer.cmd 设置暂停 pause

image

继续双击：zkServer.cmd，看到报错信息：
org.apache.zookeeper.server.quorum.QuorumPeerConfig$ConfigException: Error processing E:\Zookeeper\apache-zookeeper-3.7.0-bin\bin..\conf\zoo.cfg

image

解决：在 E:\Zookeeper\apache-zookeeper-3.7.0-bin\conf 中将 zoo_sample.cfg 复制一份，并重命名为 zoo.cfg
image

另外，在配置文件(zoo.cfg)中可以得到Zookeeper的默认端口号(clientPort=2181)等信息：

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.临时数据存储目录（可写相对路径）
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true

注意：dataDir= 临时数据存储目录（可写相对路径）

3.双击：zkServer.cmd 发现输出： - ZooKeeper audit is disabled.

image

查看源码发现日志由zookeeper.audit.enable开关控制

image

继续查看，发现 zookeeper.audit.enable 变量，实际上是加载的系统变量

image

查看启动脚本，发现call方法中可以设置变量值 "-Dzookeeper.audit.enable=true"

image

因为zookeeper新版本启动的过程中，zookeeper新增的审核日志是默认关闭，所以控制台输出ZooKeeper audit is disabled，标准的修改方式应该是在zookeeper的配置文件zoo.cfg新增一行audit.enable=true即可。

4.双击：zkServer.cmd 后，不要关闭窗口，双击：zkCli.cmd

提示连接成功：Connecting to localhost:2181

image

5.使用 zkCli.cmd 测试

ls /  :列出Zookeeper 根下保存的所有节点

image

create -e /zhouzhou 1234  ：创建一个zhouzhou节点，值为1234
get /zhouzhou  :获取zhouzhou节点的值

image

四、Windows 安装 dubbo-admin

Dubbo 本身并不是一个服务软件，它其实就是一个jar包，能够帮助你的Java程序连接到Zookeeper，并利用Zookeeper消费、提供服务。但是为了让用户更好的管理监控众多的Dubbo服务，官方提供了一个可视化的监控程序 dubbo-admin，这个监控程序不安装也不影响使用。

1.下载 dubbo-admin

dubbo-admin下载地址：https://github.com/apache/dubbo-admin

image

（我下载的是：dubbo-admin-master）

2.解压进入目录
查看 E:\Dubbo-Admin\dubbo-admin-master\dubbo-admin\src\main\resources目录下的 application.properties文件

image

3.在项目目录下打包 dubbo-admin(跳过测试)

mvn clean package -Dmaven.test.skip=true

第一次打包的过程可能有点慢，需要耐心等待。

image

4.在 E:\Dubbo-Admin\dubbo-admin-master\dubbo-admin\target下生成了 dubbo-admin-0.0.1-SNAPSHOT.jar

5.cmd 执行

java -jar dubbo-admin-0.0.1-SNAPSHOT.jar

发现，程序一直在运行并在监听，报出错误信息：

image

6.打开 Zookeeper服务(zkServer.cmd)

7.观察此时在执行 java -jar dubbo-admin-0.0.1-SNAPSHOT.jar 的窗口出现 State change: CONNECTED

8.访问：http://localhost:7001/

image

输入用户名和密码

image

五、 SpringBoot 集成Dubbo、Zookeeper

1.创建空项目 dubbo-zookeeper

image
注意事项：
image

2.创建 provider-server 模块(编写一个简单的服务)

导入依赖：

 <!--导入依赖：dubbo、zookeeper-->
        <!-- https://mvnrepository.com/artifact/org.apache.dubbo/dubbo-spring-boot-starter -->
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.9</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.github.sgroschupf/zkclient -->
        <dependency>
            <groupId>com.github.sgroschupf</groupId>
            <artifactId>zkclient</artifactId>
            <version>0.1</version>
        </dependency>
        <!--引入zookeeper会出现日志冲突-->
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>5.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>5.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.6.2</version>
            <!--排除 slf4j-log4j12-->
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

项目结构：

image

TicketService 接口

package com.zhou.service;

public interface TicketService {
    public String getTicket();
}

TicketServiceImpl 实现类

package com.zhou.service;

import org.apache.dubbo.config.annotation.DubboService;
import org.springframework.stereotype.Component;
//zookeeper:服务注册与发现
@DubboService//在项目一启动就自动注册到注册中心
@Component
public class TicketServiceImpl implements TicketService{
    @Override
    public String getTicket() {
        return "TicketService 为您服务！";
    }
}

application.properties

server.port=8081
#服务中心的名字
dubbo.application.name=provider-server
#注册中心地址
dubbo.registry.address=zookeeper://127.0.0.1:2181
#哪些服务要被注册
dubbo.scan.base-packages=com.zhou.service

测试一下：
开启 zooKeeper服务（双击：zkServer.cmd），然后，启动 ProviderServerApplication

image

查看，可视化的监控程序 dubbo-admin

java -jar dubbo-admin-0.0.1-SNAPSHOT.jar

访问：http://localhost:7001 查看 提供者

image

3.创建 consumer-server 模块

导入依赖：

<!--导入依赖：dubbo、zookeeper-->
        <!-- https://mvnrepository.com/artifact/org.apache.dubbo/dubbo-spring-boot-starter -->
        <dependency>
            <groupId>org.apache.dubbo</groupId>
            <artifactId>dubbo-spring-boot-starter</artifactId>
            <version>2.7.9</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/com.github.sgroschupf/zkclient -->
        <dependency>
            <groupId>com.github.sgroschupf</groupId>
            <artifactId>zkclient</artifactId>
            <version>0.1</version>
        </dependency>
        <!--引入zookeeper会出现日志冲突-->
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-framework</artifactId>
            <version>5.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.curator</groupId>
            <artifactId>curator-recipes</artifactId>
            <version>5.1.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.6.2</version>
            <!--排除 slf4j-log4j12-->
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

项目结构：

image

创建 UserService类

package com.zhou.service;

import org.apache.dubbo.config.annotation.DubboReference;
import org.springframework.stereotype.Service;

@Service //放到容器中
public class UserService {
    //想拿到 provider-server 提供的票,要去注册中心拿到服务
    @DubboReference //引用 方式1：pom坐标；方式2：可以定义路径完全相同的接口名
    TicketService ticketService;

    public  void buyTicket(){
        String ticket = ticketService.getTicket();
        System.out.println("UserService拿到"+ticket);
    }
}

方式2：定义路径完全相同的接口名
TicketService 接口

package com.zhou.service;

public interface TicketService {
    public String getTicket();
}

application.properties

server.port=8002
#消费者去哪里拿服务，需要暴露自己的名字
dubbo.application.name=consumer-server
#注册中心的地址
dubbo.registry.address=zookeeper://127.0.0.1:2181

启动测试

image

package com.zhou;

import com.zhou.service.UserService;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;

@SpringBootTest
class ConsumerServerApplicationTests {
    @Autowired
    UserService userService;
    @Test
    void contextLoads() {
        userService.buyTicket();
    }

}

控制台输出：UserService拿到TicketService 为您服务！

image

或则，启动 ConsumerServerApplication程序：

image

访问：http://localhost:7001/ 查看 消费者

image

posted @ 2021-04-01 19:05  江河湖泊  阅读(174)  评论(0)  编辑  收藏  举报