文章数据查询

从数据库直接按照发布时间倒叙查询

问题1:访问量较大,直接查询数据库,压力较大

问题2:新发布的文章会展示在前面,并不是热点文章

解决方案:把热点数据存入redis进行展示:点赞数量,评论数量,阅读数量,收藏数量

定时计算文章热度

实时计算文章热度

 

一、定时计算

根据文章的行为(点赞、评论、阅读、收藏)计算文章的分值,利用定时任务每天完成一次计算

把分值较大的文章数据存入到redis中

App端用户查询文章列表的时候,优先从redis中查询热度较高的文章数据

存在问题:

  做集群任务的重复执行问题【分布式锁解决】

  cron表达式定义在代码之中,修改不方便

  定时任务失败了,无法重试也没有统计

  如果任务量过大,不能有效的分片执行

分布式任务调度:在分布式架构下,一个服务往往会部署多个实例来运行我们的业务,如果在这种分布式系统环境下运行任务调度,我们称之为分布式任务调度

分布式任务调度框架:XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。

 xxl-job:

  执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能;

      另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器

在application.yml配置文件中指定执行器,在代码中以注解的方式指定执行器下面的哪一个任务处理器jobhandler来处理执行。

调度类型:

  无:该类型不会主动触发调度;

  CRON:该类型将会通过CRON,触发任务调度;

  固定速度:该类型将会以固定速度,触发任务调度;按照固定的间隔时间,周期性触发;

运行模式:BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 "JobHandler" 属性匹配执行器中任务;

JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;

执行参数:任务执行所需的参数;

阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;

  单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO(First Input First Output)队列并以串行方式运行;

  丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;

   覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;

当执行器集群部署时,提供丰富的路由策略,包括;

  FIRST(第一个):固定选择第一个机器;

   LAST(最后一个):固定选择最后一个机器;

  ROUND(轮询):

   RANDOM(随机):随机选择在线的机器;

   CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。                          LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;

   LEAST_RECENTLY_USED(最近最久未使用):最久未使用的机器优先被选举;

   FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;

   BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;

   SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;

 

分片广播:执行器集群部署时,任务路由策略选择”分片广播”情况下,一次任务调度将会广播触发对应集群中所有执行器执行一次任务【取模3】

                                     

 

posted @ 2023-07-13 11:00  佛系粥米  阅读(28)  评论(0编辑  收藏  举报