什么是消息队列机制

消息(Message):传输的数据。

队列(Queue):队列是一种先进先出的数据结构。

消息队列从字面的含义来看就是一个存放消息的容器。

消息队列可以简单理解为：把要传输的数据放在队列中。

把数据放到消息队列叫做生产者

从消息队列里边取数据叫做消费者

一般来说，消息队列是一种异步的服务间通信方式，是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构

消息队列使用场景

为什么要用消息队列，也就是在问：用了消息队列有什么好处。 消息队列在实际应用中包括如下三个场景：解耦，异步，削峰

1.应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败；

2.异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间；

3.限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况；

TP6 基于 redis 实现消息队列和延迟队列

TP6 中使用 think-queue 来实现redis的消息队列和延迟队列的过程以及其中出现的问题

think-queue：是thinkphp 官方提供的一个消息队列服务，它支持消息队列的一些基本特性：

  • 消息的发布，获取，执行，删除，重发，失败处理，延迟执行，超时控制等

  • 队列的多队列， 内存限制 ，启动，停止，守护等

  • 消息队列可降级为同步执行

think-queue 安装

composer require topthink/think-queue

安装需要在项目的根目录下

安装完成以后可以在项目根目录下 vendor > topthink > think-queue

 

创建驱动配置文件

如果config下没有queue.php，我们需要在安装好的 think-queue > src 下找到 config.php 复制里面的内容，然后在根目录下 config 目录下创建 queue.php文件，将复制的内容粘贴进去

<?php
/**
 * 消息队列配置
 */


return [
    'default'     => 'redis',
    'connections' => [
        'sync'     => [
            'type' => 'sync',
        ],
        'database' => [
            'type'       => 'database',
            'queue'      => 'default',
            'table'      => 'jobs',
            'connection' => null,
        ],
        'redis'    => [
            'type'       => 'redis',
            'queue'      => 'default',
            'host'       => env('redis.host', '127.0.0.1'),
            'port'       => env('redis.port', 6379),
            'password'   => env('redis.password', ''),
            'select'     => 0,
            'timeout'    => 0,
            'persistent' => false,
        ],
    ],
    'failed'      => [
        'type'  => 'none',
        'table' => 'failed_jobs',
    ],
];

# env 指的就是我在外部的资源文件中设置了值

消息队列实现过程

1、通过生产者推送消息到消息队列服务中

2、消息队列服务将收到的消息存入redis队列中

3、消费者进行监听队列，当监听到队列有新的消息时，获取队列第一条

4、处理获取下来的消息调用业务类进行处理相关业务

5、业务处理后，需要从队列中删除消息

功能实现

创建一个生产者

<?php
namespace app\api\controller;

use app\BaseController;
use think\facade\Queue;

class Index extends BaseController
{
    public function index()
    {
        // 1.当前任务由哪个类来负责处理
        // 当轮到该任务时，系统将生成该类的实例，并调用其fire方法
        $jobHandlerClassName = 'app\api\controller\Job1';

        // 2.当任务归属的队列名称，如果为新队列，会自动创建
        $jobQueueName = "helloJobQueue";

        // 3.当前任务所需业务数据，不能为resource类型，其他类型最终将转化为json形式的字符串
        $jobData = ['ts' => time(), 'bizId' => uniqid(), 'a' => 1];

        // 4.将该任务推送到消息列表，等待对应的消费者去执行
        // 入队列，later延迟执行，单位秒，push立即执行
        $isPushed = Queue::later(10, $jobHandlerClassName, $jobData, $jobQueueName);

        // database 驱动时，返回值为 1|false  ;   redis 驱动时，返回值为 随机字符串|false
        if ($isPushed !== false) {
            echo '推送成功';
        } else {
            echo '推送失败';
        }
    }
}

创建一个消费者

<?php
namespace app\api\controller;

use think\facade\Log;
use think\queue\Job;

class Job1
{
    /**
     * fire方法是消息队列默认调用的方法
     * @param Job $job 当前的任务对象
     * @param array $data 发布任务时自定义的数据
     */
    public function fire(Job $job, array $data)
    {
        // 有些任务在到达消费者时，可能已经不再需要执行了
        $isJobStillNeedToBeDone = $this->checkDatabaseToSeeIfJobNeedToBeDone($data);
        if (!$isJobStillNeedToBeDone) {
            $job->delete();
            return;
        }


        $isJobDone = $this->doHelloJob($data);
        if ($isJobDone){
            $job->delete();
            echo "删除任务" . $job->attempts() . '\n';
        }else{
            if ($job->attempts() > 3){
                $job->delete();
                echo "超时任务删除" . $job->attempts() . '\n';
            }
        }

    }

    /**
     * 有些消息在到达消费者时,可能已经不再需要执行了
     * @param array $data
     * @return bool
     */
    private function checkDatabaseToSeeIfJobNeedToBeDone(array $data) {
        return true;
    }

    /**
     * 根据消息中的数据进行实际的业务处理...
     * @param array $data
     * @return bool
     */
    private function doHelloJob(array $data)
    {
        echo '执行业务逻辑:' . $data['bizId'] . '\n';

        return true;
    }
}

通过浏览器访问，开始触发消息队列

php think queue:work --queue helloJobQueue

当我们开启了work进程时，就会从队列中获取任务，然后找到消费者执行后续的业务逻辑。

因为这里我采用的push 表示立即执行，所以只要队列中有就会立马执行，如果我们需要使用到延时场景，例如订单支付超时，这时我们就可以使用later即可