后端多环境治理的实践（二）
上一篇文章后端多环境治理的实践（一）我们介绍了什么是后端多环境治理，而且用springcloud实现了微服务调用的多环境治理。
实现了之后，我们微服务的流量调度如下图：
但是mq的消费怎么办，mq的消费是没有办法做自定义的负载均衡，消费逻辑是由mq来决定的，经过mq之后，流量调度就会失效。
default版本的score和v1版本的score会随机消费mq消息。
一、公司的解决方案
先说一下，公司用的是rocketmq。
而且公司有专门的mq团队，他们对mq做了各种的魔改，其中一个魔改就是所有的mq消息者不会直接连接mq，而且经过一个mq_proxy再连接到mq。
所以公司的mq的消费可以自定义自己的路由规则。
具体实现如下：
-
基准消息和feature消息复用topic。生产者会根据context，在消息的header里添加env属性。
-
当feature consumer启动时，会在proxy根据version注册对应的filter
-
当feature consumer拉取消息，proxy会根据注册的filter，将对应version的消息过滤出来加到本地缓存里
-
feature consumer拉取消息，会从proxy的本地缓存里poll消息
大家知道一下原理就好，对于一般的公司来说，不太有能力去修改mq源代码，也不太可能有专门的基建团队去打造一个mq_proxy中间件出来。
二、我的解决方案
我没有能力魔改m，也没能力造一个mq_proxy。
但是只要理解了解决方案，就能实现多环境的mq消费，只是实现的方式会low一点。
要实现mq的多环境流量调度，只要做四件事：
1、**每个微服务注册启动的时候，要带上一个标记，标记自己当前的版本，消息发送时要把这个标记放到mq_message的header里面。
2、每个微服务启动的时候，要向某个地方注册一下，标记现在存在一个某个版本的消费者。
3、所有的mq消费要经过统一的代理。
4、消费代理者执行如下逻辑：“如果消息的版本与本地版本相同，则本地消费，如果消息的版本与本地版本不相同，则判断是否存在对应版本的消费者，如果存在则转发给对应版本的消费者，如果不存在则本地消费”。
三、具体代码实践
下面以rabbitmq为例子去实现多环境mq消费
最终实现效果如下：
oder-base发出的消息，user-base消费。
order-v1发出的消息，user-v1消费。
oder-v2发出的消息，user-base消费。
1、**每个微服务注册启动的时候，要带上一个标记，标记自己当前的版本，消息发送时要把这个标记放到mqmessage的header里面。
上一期我们已经给每个实例标记了一个版本号，只要把这个版本号丢到mq的header里面，就能给这个message标记他的version。
2、每个微服务启动的时候，要向某个地方注册一下，标记现在存在一个某个版本的消费者。
这里实现的方法有很多，可以用zookeeper、redis，这里我利用rabbitmq的自动删除队列的特性，如果某个队列是自动删除队列，而且曾经有消费者连接过他，当没有消费者消费该queue时，该queue会自动删除。
所以只要我们的featrue消费者启动的时候，向rabbitmq注册某个featrue特有的queue，根据这个特性，只要我们看某条queue是否存在，就知道是否有featrue消费者存在了。
3、所有的mq消费要经过统一的代理。
公司是通过统一的proxy做的，而我则可以通过sdk的方式，自定义原生的mq消费者的方式去做mq消费者的代理。
先写一个抽象消费类
创建一个MyQueuelister去实现这个抽象类
spring容器启动的时候，找出所以继承了RabbitmqLister的bean。
然后手动注册消费者
@Slf4j
@Configuration
public class RabbitmqListerConfig implements InitializingBean{
@Autowired
private List<RabbitmqLister> rabbitmqListerList;
@Autowired
private ConnectionFactory connectionFactory;
@Autowired
private Environment environment;
@Autowired
private ApplicationContext applicationContext;
@Override
public void afterPropertiesSet() throws Exception {
rabbitmqListerList.forEach(r->{
try {
String queueName = r.getQueueName();
Connection connection = connectionFactory.createConnection();
Channel channel = connection.createChannel(false);
RabbitAdmin rabbitAdmin = applicationContext.getBean(RabbitAdmin.class);
String version = environment.getProperty(Constont.VERSION);
if (!StringUtils.equals(version,Constont.DEFAULT_VERSION)){
queueName = queueName +"-"+version;
Queue queue = new Queue(queueName, true, false, true);
rabbitAdmin.declareQueue(queue);
}
Consumer consumerB = new DefaultConsumer(channel){
@Override
public void handleDelivery(String consumerTag, Envelope envelope,
AMQP.BasicProperties properties, byte[] body)
throws IOException {
try {
Map<String, Object> headers = properties.getHeaders();
String msgVersion = headers.get(Constont.VERSION)==null?Constont.DEFAULT_VERSION:headers.get(Constont.VERSION).toString();
String version = environment.getProperty(Constont.VERSION);
ObjectMapper objectMapper = new ObjectMapper();
String o = objectMapper.readValue(body, String.class);
if(StringUtils.equals(version,msgVersion)){
r.handler(o,properties);
channel.basicAck(envelope.getDeliveryTag(),false);
return;
}
String queueName = Constont.MY_QUEUE + "-" + msgVersion;
QueueInformation queueInfo = rabbitAdmin.getQueueInfo(queueName);
if (queueInfo == null || queueInfo.getConsumerCount() ==0) {
r.handler(o,properties);
channel.basicAck(envelope.getDeliveryTag(),false);
return;
}
channel.basicPublish("",queueName,properties,body);
channel.basicAck(envelope.getDeliveryTag(),false);
}catch (Exception e){
log.error("",e);
}
}
};
channel.basicConsume(queueName,consumerB);
} catch (IOException e) {
log.error("",e);
}
});
}
}
4、消费代理者执行如下逻辑：“如果消息的版本与本地版本相同，则本地消费，如果消息的版本与本地版本不相同，则判断是否存在对应版本的消费者，如果存在则转发给对应版本的消费者，如果不存在则本地消费”。
通过判断是有个featrue-queue来判断是否有fetrue-cosumer，如果有则把消费投递到featrue-queue。
具体代码实现细节在3里面。
四、验证
在order服务，我们编程一个接口用来发送消息。
@GetMapping("/sendMq")
1、打包
mvn clean install -DskipTests
2、使用docker启动rabbitmq
docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management
3、启动eureka、gateway和3个版本的order服务
nohup java -jar -Dserver.port=8761 eureka/target/eureka-0.0.1-SNAPSHOT.jar >null 2>&1 &
nohup java -jar -Dserver.port=5000 gateway/target/gateway-0.0.1-SNAPSHOT.jar >null 2>&1 &
nohup java -jar -Dserver.port=8001 order/target/order-0.0.1-SNAPSHOT.jar >null 2>&1 &
nohup java -jar -Dversion=v1 -Dserver.port=8002 order/target/order-0.0.1-SNAPSHOT.jar >null 2>&1 &
nohup java -jar -Dversion=v2 -Dserver.port=8003 order/target/order-0.0.1-SNAPSHOT.jar >null 2>&1 &
4、开另外两个终端，去启动user服务，这里直接启动用来看日志打印。
java -jar -Dserver.port=9001 user/target/user-0.0.1-SNAPSHOT.jar
java -jar -Dversion=v1 -Dserver.port=9002 user/target/user-0.0.1-SNAPSHOT.jar
5、发送请求验证
curl --location --request GET 'localhost:5000/order/sendMq?msg=djb'
然后查看default的user服务
curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv1' \
然后查看v1的user服务
curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv2' \
然后查看default的user服务
五、最后
我们已经解决了后端多版本的rpc调用和mq消费调用了。
其实还有一个场景就是配置的多版本。
有些时候，我们需要defalut版本的实例和v1版本的实例使用不同的配置。
而springcloud-config是没办法完成这个需求的。
下一篇文章，我将会介绍后端多环境的情况下，怎么做到不同版本的实例使用不同版本的配置。
代码地址：
关注“从零开始的it转行生”，回复“多环境”获取
