Loading

微服务基础

代码地址

练手项目github地址

Docker

image-20240727131821320

image-20240727142536189

image-20240727142715858

image-20240727144422081

自定义网络中可以通过容器名相互访问。

image-20240727144551100

image-20240727151818613

version: "3.8"

services:
  mysql:
    image: mysql
    container_name: mysql
    ports:
      - "3306:3306"
    environment:
      TZ: Asia/Shanghai
      MYSQL_ROOT_PASSWORD: 123
    volumes:
      - "./mysql/conf:/etc/mysql/conf.d"
      - "./mysql/data:/var/lib/mysql"
      - "./mysql/init:/docker-entrypoint-initdb.d"
    networks:
      - hm-net
  hmall:
    build: 
      context: .
      dockerfile: Dockerfile
    container_name: hmall
    ports:
      - "8080:8080"
    networks:
      - hm-net
    depends_on:
      - mysql
  nginx:
    image: nginx
    container_name: nginx
    ports:
      - "18080:18080"
      - "18081:18081"
    volumes:
      - "./nginx/nginx.conf:/etc/nginx/nginx.conf"
      - "./nginx/html:/usr/share/nginx/html"
    depends_on:
      - hmall
    networks:
      - hm-net
networks:
  hm-net:
    name: hmall

image-20240727152244156

# mysql docker run
docker run -d \
  --name mysql \
  -p 3306:3306 \
  -e TZ=Asia/Shanghai \
  -e MYSQL_ROOT_PASSWORD=123 \
  -v /root/mysql/data:/var/lib/mysql \
  -v /root/mysql/conf:/etc/mysql/conf.d \
  -v /root/mysql/init:/docker-entrypoint-initdb.d \
  --network my-net\
  mysql

微服务

注册中心

原理:注册,订阅,续约,负载均衡

image-20240728195733298

nacos配置:

docker run -d \
--name nacos \
--env-file /root/docker/nacos/custom.env \
-p 8848:8848 \
-p 9848:9848 \
-p 9849:9849 \
--restart=always \
--network my-net\
nacos/nacos-server:v2.1.0-slim

OpenFeign连接池:

Feign底层发起http请求,依赖于其它的框架。其底层支持的http客户端实现包括:

  • HttpURLConnection:默认实现,不支持连接池
  • Apache HttpClient :支持连接池
  • OKHttp:支持连接池

因此我们通常会使用带有连接池的客户端来代替默认的HttpURLConnection。比如,我们使用OK Http.

<!--OK http 的依赖 -->
<dependency>
  <groupId>io.github.openfeign</groupId>
  <artifactId>feign-okhttp</artifactId>
</dependency>
feign:
  okhttp:
    enabled: true # 开启OKHttp功能

拆出api时调用方找不到bean——调用方配置包扫描路径

@EnableFeignClients(basePackages = "com.hmall.api.client")

feign配置日志级别:

  • OpenFeign只会在FeignClient所在包的日志级别为DEBUG时,才会输出日志。
  • 而且其日志级别有4级:
    • NONE:不记录任何日志信息,这是【默认值】。
    • BASIC:仅记录请求的方法,URL以及响应状态码和执行时间
    • HEADERS:在BASIC的基础上,额外记录了请求和响应的头信息
    • FULL:记录所有请求和响应的明细,包括头信息、请求体、元数据。

配置日志方式:

// api包下
public class DefaultFeignConfig {
    @Bean
    public Logger.Level feignLogLevel(){
        return Logger.Level.FULL;
    }
}

// 需要调试的服务的启动类注解中, defaultConfig=xxx
@EnableFeignClients(basePackages = "com.hmall.api.client", defaultConfiguration = com.hmall.api.config.DefaultFeignConfig.class)

网关

解决问题:身份校验,路由image-20240729035649959

网关请求处理流程:定义处理逻辑,定义过滤器链顺序

image-20240729105844554

网关过滤器链中的过滤器有两种:

  • GlobalFilter:全局过滤器,作用范围是所有路由,不可配置.【只需要添加自定义路由即可】

  • GatewayFilter:路由过滤器,作用范围比较灵活,可以是任意指定的路由Route. 【由于携带参数,所以实际上是定义一个工厂类;Springboot内置了许多GatewayFilter】

关于身份校验:

image-20240729132045994

mvc拦截器配置:

  • 编写拦截器逻辑:preHandle, postHandle, afterCompletion
  • 写配置类,配置拦截器:addInterceptors
  • 自动装配配置类:spring.facotories

image-20240729122944704

为什么定义在hm-common
因为所有的微服务(除了网关),都要添加这个拦截器,而所有微服务都引用了hm-common,所以直接在common添加配置类
如何让配置在网关不生效

使用条件装配注解@Conditional,由于只有网关没有导入mvc,所以可以用是否存在mvc的核心类作为区分,即@ConditionalOnClass((DispatcherServlet.class)

配置管理

配置流程:

image-20240730130255876

添加依赖:

  <!--nacos配置管理-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
  </dependency>
  <!--读取bootstrap文件-->
  <dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-bootstrap</artifactId>
  </dependency>

配置管理:

  1. 配置bootstrap.yml
  2. 把公共的配置配置到nacos中

image-20240730142040438

配置热更新:

image-20240730141603355

网关动态路由:略

服务保护

服务保护方案:

  1. 请求限流(水坝)
  2. 线程隔离(船舱)
  3. 服务熔断(保险丝)

image-20240803143726986

Sentinel Hystrix
限流 基于QPS,支持流量整形 有限的支持
线程隔离 信号量隔离 线程池隔离/信号量隔离
Fallback 支持 支持
熔断策略 基于慢调用比例或异常比例 基于异常比率
控制台 开箱即用,可配置规则、查看秒级监控、机器发现等 不完善
配置方式 基于控制台,重启后失效 基于注解或配置文件,永久生效

Sentinel快速入门:

  1. 引入依赖:
<!--sentinel-->
        <dependency>
            <groupId>com.alibaba.cloud</groupId>
            <artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
        </dependency>
  1. 添加配置:(可以配置到nacos共享中)
spring:
  cloud: 
    sentinel:
        transport:
            dashboard: 192.168.10.100:8858
        http-method-specify: true #开启请求方式前缀
  1. docker部署dashboard:
# 查看版本
docker search sentinel
# 下载镜像的最新版本
docker pull bladex/sentinel-dashboard
# 运行容器 Sentinel默认端口 8858
docker run --name sentinel -p 8858:8858 -td bladex/sentinel-dashboard
# 访问Sentinel监控平台 http://localhost:8858/
账户:sentinel
密码:sentinel
(监控的接口需要被访问一下才会显示在监控台中)

Feign调用添加fallback【Feign整合Sentinel】

sentinel的监控对象为触点,那么怎么监视feign调用添加fallback逻辑呢?

  1. 添加配置(服务模块配置)
feign:
  sentinel:
    enabled: true # 开启feign对sentinel的支持
  1. 编写fallback工厂类,注册成Bean

  2. FeignClient注解添加fallback参数

@FeignClient(value = "item-service", fallback = ItemClientFallbackFactory.class)

image-20240803165806837

分布式事务

Seata架构:

image-20240803174343395

Seata服务部署:

seata是一个独立的微服务,需要自己部署,步骤如下:

  1. 由于采用mysql持久化,先导入数据表 seata-tc.sql
  2. 复制配置文件夹seata/application.yml
  3. 加载并启动容器

| 文件连接

docker run --name seata \
-p 8099:8099 \
-p 7099:7099 \
-e SEATA_IP=192.168.10.100 \ #虚拟机地址
-v /root/docker/seata:/seata-server/resources \
--privileged=true \
--network my-net \
-d \
seataio/seata-server:1.5.2

导入Seata:

  1. 导入依赖
  <!--统一配置管理-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
  </dependency>
  <!--读取bootstrap文件-->
  <dependency>
      <groupId>org.springframework.cloud</groupId>
      <artifactId>spring-cloud-starter-bootstrap</artifactId>
  </dependency>
  <!--seata-->
  <dependency>
      <groupId>com.alibaba.cloud</groupId>
      <artifactId>spring-cloud-starter-alibaba-seata</artifactId>
  </dependency>
  1. 添加配置文件【做成共享配置,shared-seata.yml】
seata:
  registry: # TC服务注册中心的配置,微服务根据这些信息去注册中心获取tc服务地址
    type: nacos # 注册中心类型 nacos
    nacos:
      server-addr: 192.168.10.100:8848 # nacos地址
      namespace: "" # namespace,默认为空
      group: DEFAULT_GROUP # 分组,默认是DEFAULT_GROUP
      application: seata-server # seata服务名称
      username: nacos
      password: nacos
  tx-service-group: hmall # 事务组名称
  service:
    vgroup-mapping: # 事务组与tc集群的映射关系
      hmall: "default"

nacos中确定一个服务: namespace-group-service-cluster

image-20240804145522970

  1. 如果报错 Unable to make protected final java.lang.Class java.lang.ClassLoader.defineClass(java.lang.String,byte[],int, 是因为jdk不是1.8导致的,解决方法如下
# 添加虚拟机选项
--add-opens java.base/java.lang=ALL-UNNAMED

XA模式(强一致性):

image-20240804154032449

  1. 修改配置文件,开启XA模式
seata:
	data-source-proxy-mode: XA
  1. 全局事务入口添加 @GlobalTransational注解

AT模式(最终一致性):

image-20240804154105167

  1. 每个服务的数据库添加undolog数据表 seata-at.log
  2. 修改配置(默认就是AT)
seata:
	data-source-proxy-mode: TA
  1. 全局事务入口添加 @GlobalTransational注解

RabbitMQ

基本概念

docker部署:

docker run \
 -e RABBITMQ_DEFAULT_USER=rabbitmq \
 -e RABBITMQ_DEFAULT_PASS=rabbitmq \
 -v mq-plugins:/plugins \ #挂载数据卷,挂载本地目录会报错
 --name mq \
 --hostname mq \
 -p 15672:15672 \
 -p 5672:5672 \
 --network my-net\
 -d \
 rabbitmq:management

基本概念:

image-20240812215716446

配置

<!--AMQP依赖,包含RabbitMQ-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
spring:
  rabbitmq:
    host: localhost
    virtual-host: /
    port: 5672
    username: rabbitmq
    password: rabbitmq

队列模型

  1. workQueue:默认轮询,每个消息处理一次。加快消息处理速度

image-20240812230615441

能者多劳【通过配置prefetch】

spring:
  rabbitmq:
    listener:
      simple:
        prefetch: 1 # 每次只能获取一条消息,处理完成才能获取下一个消息
  1. fanout exchange:广播

image-20240812232142009

  1. direct exchange:定向(基于bingKey做路由)

image-20240812233002721

  1. topic exchange:订阅(bingKey支持通配符)

image-20240812234156263

  • #:匹配一个或多个词
  • *:匹配不多不少恰好1个词

声明队列和交换机

  1. 基于Bean
@Configuration
public class FanoutConfiguration {
    @Bean
    public FanoutExchange fanoutExchange() {
        return new FanoutExchange("my.fanout");
    }

    @Bean
    public Queue fanoutQueue1() {
        return new Queue("fanout.queue1");
    }

    @Bean
    public Binding bindingFanoutQueue1(FanoutExchange fanoutExchange, Queue fanoutQueue1) {
        return BindingBuilder.bind(fanoutQueue1).to(fanoutExchange);
    }
}
  1. 基于注解
// 基于注解声明队列和交换机
@RabbitListener(bindings = @QueueBinding(
    value = @Queue("direct.queue1"),
    exchange = @Exchange(value = "my.direct", type = ExchangeTypes.DIRECT),
    key = {"red", "green"}
))
public void directQueueListener1(String message) {
    log.info("监听到来自direct.queue1的消息: {}", message);
}

消息转换器

采用JSON序列化代替默认的JDK序列化

  • 引入jackson依赖
<!--Jackson-->
<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-xml</artifactId>
    <version>2.9.10</version>
</dependency>
  • 在publisher和consumer中都要配置MessageConverter
@Bean
public MessageConverter messageConverter(){
    // 1.定义消息转换器
    Jackson2JsonMessageConverter jackson2JsonMessageConverter = new Jackson2JsonMessageConverter();
    // 2.配置自动创建消息id,用于识别不同消息,也可以在业务中基于ID判断是否是重复消息
    jackson2JsonMessageConverter.setCreateMessageIds(true);
    return jackson2JsonMessageConverter;
}

消息转换器中添加的messageId可以便于我们将来做幂等性判断

消息可靠性

发送者可靠性

  1. 发送者重连:
spring:
  rabbitmq:
    connection-timeout: 1s # 设置MQ的连接超时时间
    template:
      retry:
        enabled: true # 开启超时重试机制
        initial-interval: 1000ms # 失败后的初始等待时间【默认】
        multiplier: 1 # 失败后下次的等待时长倍数,下次等待时长 = initial ~ interval * multiplier 【默认】
        max-attempts: 3 # 最大重试次数【默认】

SpringAMQP提供的重试机制是阻塞式的重试,也就是说多次重试等待的过程中,当前线程是被阻塞的。

如果对于业务性能有要求,建议禁用重试机制。如果一定要使用,请合理配置等待时长和重试次数,当然也可以考虑使用异步线程来执行发送消息的代码。

  1. 发送者确认
  • ReturnCallback:是否成功路由。只需要绑定一个统一回调。
  • ConfirmCallback:确认是否到达 Exchange 【不管路由是否成功,到达队列】。每个消息都要绑定自己的回调。

ReturnCallback在交换器路由不到队列时触发回调,除非代码绑定队列出错,否则不会触发,所以一般不用。

ConfirmCallback会导致发消息时频繁与Mq通信,所以如果不是必要,也一般不用,如果使用,注意在收到nack时不要重试太多次,避免严重影响性能。

spring:
  rabbitmq:
    publisher-confirm-type: correlated # 开启publisher confirm机制,并设置confirm类型(simple:同步阻塞, correlated:异步回调)
    publisher-returns: true # 开启publisher return机制

returnCallback配置:

@Slf4j
@AllArgsConstructor
@Configuration
public class MqConfig {
    private final RabbitTemplate rabbitTemplate;

    @PostConstruct
    public void init(){
        rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
            @Override
            public void returnedMessage(ReturnedMessage returned) {
                log.error("触发return callback,");
                log.debug("exchange: {}", returned.getExchange());
                log.debug("routingKey: {}", returned.getRoutingKey());
                log.debug("message: {}", returned.getMessage());
                log.debug("replyCode: {}", returned.getReplyCode());
                log.debug("replyText: {}", returned.getReplyText());
            }
        });
    }
}

confirmCallback配置:

@Test
public void testConfirmCallback() {
    // 1.创建CorrelationData
    CorrelationData cd = new CorrelationData();
    // 2.给Future添加ConfirmCallback
    cd.getFuture().addCallback(new ListenableFutureCallback<CorrelationData.Confirm>() {
        @Override
        public void onFailure(Throwable ex) {
            // 2.1.Future发生异常时的处理逻辑,基本不会触发
            log.error("send message fail", ex);
        }
        @Override
        public void onSuccess(CorrelationData.Confirm result) {
            // 2.2.Future接收到回执的处理逻辑,参数中的result就是回执内容
            if(result.isAck()){ // result.isAck(),boolean类型,true代表ack回执,false 代表 nack回执
                log.debug("发送消息成功,收到 ack!");
            }else{ // result.getReason(),String类型,返回nack时的异常描述
                log.error("发送消息失败,收到 nack, reason : {}", result.getReason());
            }
        }
    });
    //3. 发送消息
    rabbitTemplate.convertAndSend("my.direct", "green", "hello spring amq", cd);
}

MQ可靠性

  1. 数据持久化

交换机持久化【默认】,队列持久化【默认】,消息持久化。

临时消息存在内存,消息过多时会导致扇出,造成阻塞。

image-20240813205617405

持久化的消息存在内存,同时也直接保存到磁盘,避免扇出造成太大阻塞,且性能也不差。

image-20240813205524492

Message message = MessageBuilder.withBody("hello spring amq".getBytes())
                .setDeliveryMode(MessageDeliveryMode.PERSISTENT)
                .build();
  1. lazyQueue

消息直接存入磁盘,不存到内存,且针对写磁盘进行优化,解决了一般队列+数据持久化的并发问题。

3.12版本之后,LazyQueue已经成为所有队列的默认格式。因此官方推荐升级MQ为3.12版本或者所有队列都设置为LazyQueue模式。

Bean配置:

@Bean
public Queue lazyQueue() {
    return QueueBuilder
        .durable("lazy.queue")
        .lazy() // 声明队列为延迟队列
        .build();
}

注解配置:

@RabbitListener(queuesToDeclare = @Queue(
    value = "lazy.queue",
    durable = "true",
    arguments = @Argument(name = "x-queue-mode", value = "lazy")
))
public void lazyQueueListener(String message) {
    log.info("监听到来自lazy.queue的消息: {}", message);
}

控制台配置:

image-20240813215853389

消费者可靠性

  1. 消费者消息确认【默认开启】

image-20240814101547876

  • none:不处理。即消息投递给消费者后立刻ack,消息会立刻从MQ删除。非常不安全,不建议使用
  • manual:手动模式。需要自己在业务代码中调用api,发送ackreject,存在业务入侵,但更灵活
  • auto:自动模式。SpringAMQP利用AOP对我们的消息处理逻辑做了环绕增强,当业务正常执行时则自动返回ack. 当业务出现异常时,根据异常判断返回不同结果:
    • 如果是业务异常,会自动返回nack
    • 如果是消息处理或校验异常,自动返回reject;

配置:

spring:
  rabbitmq:
    listener:
      simple:
        acknowledge-mode: auto #自动处理【默认】
  1. 失败重试【默认关闭】

当消费者出现异常后,消息会不断requeue(重入队)到队列,再重新发送给消费者。如果消费者再次执行依然出错,消息会再次requeue到队列,再次投递,直到消息处理成功为止。

极端情况就是消费者一直无法执行成功,那么消息requeue就会无限循环,导致mq的消息处理飙升,带来不必要的压力:

配置

spring:
  rabbitmq:
    listener:
      simple:
        retry:
          enabled: true # 开启消费者失败重试
          #下面都是默认配置
          initial-interval: 1000ms # 初始的失败等待时长为1秒
          multiplier: 1 # 失败的等待时长倍数,下次等待时长 = multiplier * last-interval
          max-attempts: 3 # 最大重试次数
          stateless: true # true无状态;false有状态。如果业务中包含事务,这里改为false

默认情况下,如果重试三次失败,就会直接丢弃消息,造成可靠性下降,可以修改策略。

image-20240814103120696

配置第三种方式

@Configuration
@Slf4j
public class ErrorMessageConfig {
    @Bean
    public Queue errorMessageQueue() {
        return new Queue("error.queue");
    }

    @Bean
    public DirectExchange errorMessageExchange() {
        return new DirectExchange("error.exchange");
    }

    @Bean
    public Binding errorMessageBinding(Queue errorMessageQueue, DirectExchange errorMessageExchange) {
        return BindingBuilder.bind(errorMessageQueue).to(errorMessageExchange).with("error");
    }

    @Bean
    public RepublishMessageRecoverer errorMessageRecoverer(RabbitTemplate rabbitTemplate) {
        return new RepublishMessageRecoverer(rabbitTemplate, "error.exchange", "error");
    }
}

image-20240814104913500

  1. 幂等业务处理

唯一消息id

  • 每一条消息都生成一个唯一的id,与消息一起投递给消费者。
  • 消费者接收到消息后处理自己的业务,业务处理成功后将消息ID保存到数据库
  • 如果下次又收到相同消息,去数据库查询判断是否存在,存在则为重复消息放弃处理。
@Bean
public MessageConverter messageConverter(){
    // 1.定义消息转换器
    Jackson2JsonMessageConverter jjmc = new Jackson2JsonMessageConverter();
    // 2.配置自动创建消息id,用于识别不同消息,也可以在业务中基于ID判断是否是重复消息
    jjmc.setCreateMessageIds(true);
    return jjmc;
}

延迟消息

采用延时消息实现延时任务

应用场景:对于超过一定时间未支付的订单,取消订单并释放占用的库存。

image-20240814221732408

  1. 死信交换机+TTL

死信(Dead Letter):

  • 消费者使用basic.rejectbasic.nack声明消费失败,并且消息的requeue参数设置为false
  • 消息是一个过期消息,超时无人消费
  • 要投递的队列消息满了,无法投递

如果一个队列中的消息已经成为死信,并且这个队列通过dead-letter-exchange属性指定了一个交换机,那么队列中的死信就会投递到这个交换机中,而这个交换机就称为死信交换机(Dead Letter Exchange)。

image-20240814222950153

image-20240814231640835

image-20240814231658085

发送消息时指定过期时间:

@Test
public void testDelayMessage() {
    rabbitTemplate.convertAndSend("normal.exchange", "normal.key", "hello dl message", message -> {
        message.getMessageProperties().setExpiration("10000");
        return message;
    });
}
  1. 延时消息插件

image-20240814231145788

下载插件:github地址

将插件文件移动到对应的插件目录下(一般为/plugins)后,执行:

docker exec -it mq rabbitmq-plugins enable rabbitmq_delayed_message_exchange

注解方式声明:

// 延时交换机
@RabbitListener(bindings = @QueueBinding(
    value = @Queue("delay.queue"),
    exchange = @Exchange(value = "delay.exchange", type = ExchangeTypes.DIRECT, delayed = "true"),
    key = {"delay.key"}
))
public void delayQueue(String message) {
    log.info("监听到来自delay.queue的消息: {}", message);
}

Bean方式声明:

@Slf4j
@Configuration
public class DelayExchangeConfig {

    @Bean
    public DirectExchange delayExchange(){
        return ExchangeBuilder
                .directExchange("delay.exchange") // 指定交换机类型和名称
                .delayed() // 设置delay的属性为true
                .durable(true) // 持久化
                .build();
    }

    @Bean
    public Queue delayedQueue(){
        return new Queue("delay.queue");
    }
    
    @Bean
    public Binding delayQueueBinding(){
        return BindingBuilder.bind(delayedQueue()).to(delayExchange()).with("delay");
    }
}

发送时指定延时时间:

@Test
public void testDelayMessageByPlugin() {
    rabbitTemplate.convertAndSend("delay.exchange", "delay.key", "hello delay message by plugin", message -> {
        message.getMessageProperties().setDelay(10000);
        return message;
    });
}

延迟消息插件内部会维护一个本地数据库表,同时使用Elang Timers功能实现计时。

如果消息的延迟时间设置较长,可能会导致堆积的延迟消息非常多,会带来较大的CPU开销,同时延迟消息的时间会存在误差。

因此,不建议设置延迟时间过长的延迟消息

最佳实践:取消订单

场景:

image-20240818080549218

  • 用户下单:调用交易服务,保存订单,扣减库存(锁单,防止超卖)

  • 用户支付:调用支付服务,扣减余额,通过MQ通知交易服务更新订单状态为已支付

  • 存在问题:

    • 如果用户迟迟没有支付,库存被扣减没有恢复
    • 如果MQ故障,那么即使用户已支付,订单状态也没有更新
  • 解决办法:一段时间后,交易服务check一下支付服务,是否有支付记录

    • 已支付:更新订单状态为已支付
    • 未支付:更新订单状态为关闭,恢复商品库存

    image-20240818081322030

  • 解决方式:延迟消息

posted @ 2024-09-07 19:21  咪啪魔女  阅读(6)  评论(0编辑  收藏  举报