AI驱动的京东端到端补货技术建设实践
导读:自动化是嵌入到整个智能供应链Y的基因里去的,我们服务的一个愿景是希望通过自动化技术实现供应链全链条的降本提效。本文将分享京东如何利用AI驱动端到端补货建设,包括以下几大方面内容:
- 京东智能供应链现状
- AI与OR双驱动的端到端补货建设
- 未来展望
01
京东智能供应链现状
整个京东集团供应链业务分为POP和自营两部分,智能供应链Y部门80%以上的工作,是服务于自营供应链。自营供应链是指自己采购、自己销售,这部分工作主要由Y的技术团队承接,整个业务体量非常大。
从最近的财报来看,京东平台的活跃用户大约5.52亿,自营商品超过了900万种,涵盖家电、电脑数码、快销等所有品类。对接了超过20万+的供应商,采购不同的商品。整个网络规模非常复杂,基本使用了物流的全部仓库,通过这种方式更好地提升用户的体验、降低成本。通过一系列的供应链优化动作,今年Q3财报显示周转期达到了30.1天。对标行业来看,处于非常领先的水平,93%以上的自营订单,实现了24小时达。一方面是因为业务人员的操盘,另一方面是技术服务的加持。
02
AI与OR双驱动的端到端补货建设
1. 布局五大能力
一个商品被消费者购买会有一个非常长的流程,从刚开始的创意设计、研发制造,到最终零售厂商定价交易、仓储、物流配送、售后,整个链条是非常长的。这么长的链条如何去提升效率?需要全链条各个环节的优化,我们Y部门在优化过程中布局了五大能力:
① C2M能力
C2M能力是服务于供应商、品牌商的一个核心,通过行业洞察算法基于销售数据,识别出未来哪些是消费者更加青睐的商品,把商品的特性、特质、一些关键的属性,赋能给整个品牌商。品牌商基于洞察建议,做新品的生产和设计。这样生产商品效率非常高,可以卖得更快、更好。
② 品类规划
行业内品类规划的范围比较广,主要是品类规划策略,Y主要聚焦在商品结构和多端选品。
什么是商品结构?比如京东有900多万的商品,我们要找出哪些商品是重复的,消费者选择起来比较困难。这些商品要减少一些自营的让消费者选择,把一些更好的商品曝光给消费者。另外也要看哪些商品在自营商品中是没有的,能不能把这些商品引入京东平台,让消费者更好地选择。
另外多端多渠道选品,京东是一个大平台,有不同的场域、频道,不同品质的不同商品,在不同频道的销售效率是完全不一样的。我们希望把不同的商品通过技术识别出来,推到不同的渠道,加速销售和流转。
③ 自动定价
Y的一个核心是通过自动的方式实现效率的提升。我们希望未来能实现整个京东平台的自动定价,给消费者提供更合理的价格,保持比较低的利润。
④ 智能库存
库存能力是Y比较成熟的能力,从预测、补货、调拨到清滞的多个环节,布局了相应能力。
仓网履约
在整个零售供应链中,我们希望通过网络的调节,通过履约的优化,实现整个成本和效率的最优化。
--
2. 开展三大类工作
为了实现全链条的最优化,我们大部分工作可以归为三类:
① 第一类是预测类工作,是各类决策和规划的基础。
在整个自营的供应链中,最核心的就是如何去预测出未来的销量。因为知道未来销量,才能决定什么样的时机采购。针对销量预测,我们做得非常成熟。流量预测和财务预测,是为了更好地把销量计划做好,把事情做得更加极致。
② 第二类是布局优化能力。
我们布局优化的能力是非常充足的。因为优化能力可以帮我们提供更好的决策,比如像在补货场景下,在什么时机进多少量,是一个非常明确的运筹优化类问题。
我们想实现整个周转效率的最佳化,需要把最佳时机和最佳量决策出来,这一块依赖于运筹能力的搭建。运筹能力的搭建会服务于履约,包括派单优化、履约路线优化,也会有额外的产出。
③ 第三类是仿真平台。
对于任何一个算法,在落地上线之前,都要做一轮详细的评估。仿真平台是我们完成上线前最后一轮准备的载体。做供应链库存优化的难度非常大,受干扰因素很多,受到前台因素的影响,如何去评估这种影响?我们建立了供应链仿真平台,通过仿真平台,模拟各种不同因素的影响,能使我们方案的鲁棒性更强一些。仿真平台在零售内部获得了创新大奖。
--
3. 库存管理
库存是整个供应链管理当中最重要的一个部分,也是最难的部分。想把库存管好,涉及的流程非常长,包括预测,预测得更准,计划制定的才会更合理。基于计划和节奏,才能决策出要采多少货。采完后进入京东大仓,如何调拨到距离消费者更近的仓,提升时效水平。在调拨和采购过程中,还有一些库存是不容易销售的,就是滞销库存,如何识别滞销库存,给出合理的价格,加速消化出去,使得整个周转效率达到最佳化。
① 库存管理的核心指标
库存管理在零售内部服务于三大目标:
- 周转的目标,库存周转越快,意味着以更低的成本,释放出更好的现金流,这对企业来说是非常关键的;
- 现货率,现货率越高,意味着销售机会越高,对整个GMV最大化就越好;
- 满足率,是指前置仓的满足率,如果更多的货从前端发出去,用户的时效体验就会更好。比如我们93%以上的货物都能实现24小时达,这依赖于调拨合理性,让货离消费者更近,以更快的速度触达给消费者。
② 智能补货
智能补货是其中一个案例,Y以自动化的方式服务于业务,第一个需要挑战的就是销量预测。京东的自营商品有900多万,有1300个仓库在八大RDC。八大RDC乘以的900多万商品,将近一亿需要预测的数量,规模非常大。在整个预测的沉淀非常成熟后,为了保证预测普适性,现在的预测会输出未来91天by天、by sku、by RDC的预测,服务于下游的智能补货系统。
补货更多的是要把整个商品从供应商采到京东大仓。每天大概有数千万的采购建议输出,将这些货从供应商自动下单,自动入库,实现整个自动化流程。当商品进入京东大仓后,要把货物快速的分配到FDC,在京东内部完成调拨,目前调拨的自动化率高达90%,水平非常高。
③ 智能清滞
当货物在京东完成分布后,一项工作是如何精准地识别出滞销库存。我们采购了很多货,并不是每个货都好卖,有些货采购后销售不及预期,就会成为滞销,叫做滞销库存。我们需要快速识别,并匹配合理的价格,把它销售出去,这样周转效率才能达到最低。京东可以释放出更多的现金流,让整个金融更具有竞争力。
目前整个库存管理是一个全自动化的流程,看起来简单,但执行难度高。京东自营业务的复杂度高,有全品类商品,不同品类有不同模式,需要匹配不同网络。网络很多时候是会变化的,当发生变化时,每个仓覆盖的需求也会发生非常大的变化。这对预测的挑战非常大,比如一个大仓的需求发生很大的波动时,会变得和之前的特性有很大的差异,对预测和补货会有更多的挑战。
比如中小件是两层网络,大件是三层网络,网络由两层变成三层后,补货的难度也会增加。在两层网络时,我们更多是给RDC备货,但在搭建三层网络的时候,三级网络可以直接去采购,网络之间也可以调拨。这种情况下,网络覆盖关系变化得更加剧烈,需要采用技术识别出它的变化情况,实时匹配最佳合理的预测方式,给出最佳合理的补货逻辑。
--
4. 预测
我们的预测目前是智能预测平台支持的,它的底层有两个核心能力:
-
第一个是大数据的能力;
-
第二个是成熟的机器学习和深度学习技术。
为了使智能预测平台具有更好的适配性,我们会把一些业务的信息拿到智能预测平台里,比如不同的业态,像大家电是计划驱动的业态,时尚是期货的业态,中小件快销是需求驱动的,需要把不同的业态考虑到预测过程中去。
另外我们会建立不同的影响因子,不同的影响因子对最终效果的影响很大,比如促销因子、季节性因子,我们把各类因子单独建模,以方便支撑多种多样的业务形态,目前智能预测平台是支持的。
这一块目前的主要方向有三个:
-
第一类是财务预测,帮助业务规划好财务计划;
-
第二是销量预测,目前非常成熟,是实现自动补货的基础,每天输出千万行以上的预测建议,千万行以上的采购行为;
另外是单量预测,更多是服务于物流,做采购的入库计划,配置产能。
销量预测目前更多是服务于两大业务:
-
第一是采购业务,从供应商采购进来;
-
第二是服务于FDC调拨。
① 预测面临的问题
之前做销量预测是点预测,比如输出91天每一天的结果是多少。这种模式在现在的场景下难以满足需求,所以逐渐从点预测变成分布式预测。我们需要告诉下游系统,每一点的销量是多少,发生概率是多少,下游基于分布综合决策,给出对应的建议。由点预测变成分布式预测,带来了很大的挑战,比如算力、计算难度、预测难度的挑战,都呈指数级的增加。
在现实中想要做好销量预测,有很多的难点,尤其是在自营供应链中。
第一个难点就是客群日益丰富,像Z世代、toB、toG和toC。当服务的人群越多,长尾需求也会越多。本身长尾对预测来说就特别不友好。如何把长尾预测准?在行业内,想先把它做好,难度是很大的。
另外,需要考虑不同商品的生命周期,一个商品从引入到成长到成熟到衰退,整个过程的销量特性差异非常大。需要精准地识别出不同商品,在不同生命周期下,销售行为的差异是什么?把它考虑到销量预测中去,以提升销量趋势的结果。这个是行业内非常大的一个难题,给我们带来了很大的挑战。
我们常看到电商平台现在营销活动特别多,每个营销活动都会使得销量出现一些尖峰,平时就是销售一两件的长尾需求,但上了营销促销活动,会产生海量爆发的需求。对于平稳序列的预测准确度比较高,非平稳序列预测难度非常大,所以把尖峰预测得更准,对我们来说也是一个挑战很大的工作。
② 问题的解决方案
为了解决以上问题,我们把整个问题做了拆解:
- 第一类是时序模型
训练时序模型在很多情况下,能比较好地解决销量预测问题。所以这里一些品类的适应性是相对比较好的。从我们的经验来看,在趋势模型上,包括周期性模型,表现效果都比较好,模型能较好地解决这类问题。我们探索的很多场景都可以用时序模型达到比较好的效果。
- 第二类是机器学习模型
当时序模型解决不了的时候,就需要引入机器学习模型,包括深度学习模型。这种模型解决哪类效果比较好呢?比如促销、营销的信息,复杂的信息在时序模型中很难考虑进去,因为他的学习能力比较弱。这种情况下,把机器学习模型引入,效果会得到改善。从实际探索来看,XGB、TFT模型都能比较好地解决这些问题,但算力的需求会大幅增加。
- 第三类是新品模型
新品模型是目前行业的难点,我们也探索了很多新品预测的思路,目前来看没有特别完美的思路。一种比较可用的思路,是相似品逻辑,会在新品预测中发挥比较大的作用。比如很多商品,在引入平台后,有些老品和它的相似度非常高,把它引入后,就有相对完善的数据去做新品的模型训练,效果比较好。
- 第四类是路由模型
因为上面三种模型是通过算法人员对商品分析后,针对不同的商品分层做差异化带来的效果提升,但效率比较低。因此我们提出了路由模型,希望通过算法的自动识别,自动匹配每个商品在某个时期,有没有合适的meta model适配。通过一年多的探索,我们找到了一些选择机制,能很好地匹配商品之间的关系。从实际效果来看,路由模型对大盘精确度的提升发挥了非常大的作用。在不同的频率上,脉搏的提升是在一个点以上,提升是非常巨大的。所以路由模型是目前重点主推的一个模型,可以提升效率,改善预测的效果。
预测框架
预测框架在整个行业内的做法都差不多,大厂的数据体制非常完善,无论是商品的、用户的、订单的、促销的数据都非常完备。
在完备的数据基础上,很多工作量在差异化特征库的搭建上。如果找到非常好的特征,匹配很好的数据,可以用相对简单的模型,达到非常好的效果。比如营销活动,如何把营销活动特征搭建出来。从目前来看,可以把营销活动信息作为一个feature,放到模型里去,但往往模型的输出效果并不理想。把整个营销活动拆成价格时序、可售时序合并后,放到已有的模型中,就会达到比较好的效果。所以特征工程是优秀的算法工程师发挥作用的工作,当然也是非常难的一项工作。
模型库、组件库的搭建是比较成熟的技术。
为了提升算法上线的效率,我们做了一些机制的完善,包括从去年开始完善了上线流程评估体系、回测体系,极大地加速了预测算法上线速度。
--
5. 补货
补货是一个具有业务属性的工作,想把补货做好,一定要理解业务侧在做补货的痛点,只有理解它的痛点,才能把业务的手工补货,变成现在不断推进的自动补货。
① 补货面临的问题
像京东900万的商品,量级是非常恐怖的,如何在合理的情况下,达到一个相对比较好的,大家认可的结果。900万的商品中爆品并不多,多数都是常规品,产品本身从预测到补货都很难。在预测不确定性很大的情况下,如何通过补货模型做兜底,给出很好的效果,是一个有非常挑战的问题。在做补货过程中,生意模式非常复杂,网络变化也很多,网络变化时,参数就要自适应地去发生调整,在这个过程中也给我们带来很大的一个难题。
对我们来说,想把人工补货变成自动补货的目的在于:商品种类很多,如果用人去补,效率非常低,工作量很大,并且很难做到精细化。当系统在补货的时候,可以针对每个SKU做差异化预测,给出差异化的参数,使效果更好。通过这种方式,能把线下手工补货,变成自动补货。
目前自动补货已经达到70%以上的水平,这对我们来说是非常大的鼓舞,使得自动化的效率非常高,给算法优化提升带来了更大的空间。
② 问题的解决方案
想把补货做好,一定要把库存拆解得更加清晰,针对不同的库存层次,匹配不同补货策略和模型算法。目前我们主要是基于安全库存模型,对现有的库存进行拆解。基于库存模型拆解:
-
首先是周转库存:周转库存在理想情况,只需要覆盖两次补货间隔的量就可以。但是很多时候由于供需的不稳定性,供给会发生很大的变化,需求波动也很大,如果只备周转库存,会造成断货的风险。
-
其次是安全库存:为了避免周转库存引起的断货风险,引入了安全库存,满足消费者的需求。比如不同的安全库存就对应着不同的服务水平,比如现货率达到97%,增加的安全库存要远大于95%的水平。
最- 后是策略库存:除了周转和安全库存之外,还有一些策略库存。策略库存是应对一些特殊场景的,比如大促备货场景,像618和双11期间,整个节奏受到供应商产能的影响非常大,也会受物流入库的产能限制。很难在618和双11前几天把货采进来,这个情况下,就要有节奏地把货引入进来,这部分库存就是策略库存。它的量级往往是非常大的,为优化周转带来了很大挑战。
为了应对这种挑战,目前我们引入两种常见的补货策略:
- 第一类是常规补货
常规补货更多的服务于安全库存和周转库存。在这个过程中需要做两类工作:基于预测的不确定性,推荐出合理的库存水位,然后基于合理的库存水位匹配出对应的参数。在参数推荐过程中,目前我们会使用运筹的优化模型给出参数。比如要达到一定的库存水位,不同的商品要给出不同的参数建议,备货天数是多少,服务水平是多少。通过常规补货的参数模型,我们实现了70%的非常高的自动化水平。
- 第二类是大促补货
大促补货是一个非常特殊的场景,因为它的量在某一个时间点爆发得非常大。在这种情况下,我们会基于预测、业务进销存计划、物流产能和供应商产能,在长周期下把入库节奏和数量做一个拆解。这里的难点有以下几个:
-
第一个是销售预估,我们预测团队针对大促期间的销售做了很多的模型优化,从去年到今年618上线,新的大促预测上线后,整个计划的达成度就有了大幅提升。
-
第二是入库节奏的匹配,这一块更多是和物流测的联动。
另外很多时候业务会做计划调整,这种情况下对大促备货的输出结果会产生很大的影响。目前通过两轮试点,我们解决了主要的挑战。从目前跟进的效果来看,采纳率和自动化执行效率是非常高的,大促备货的采纳率在80%以上,自动化率维持在60%以上。
③ 端到端补货
我们从2020年开始推进一个前沿的技术是多端补货,前面补货的核心逻辑是先做预测,再结合补货模型,比如参数推荐,来下采购单。这种方式的一个劣势是环节很多,每一层环节都会有一个误差累积,使预测效果变差。所以我们想把预测和捕获决策,两个环节变成一个环节,直接给出最优化的建议,通过这种方式进一步提升补货的效果。
实现这个理念需要做很多工作,第一步就需要给出历史上每一次捕获行为,最佳的捕获经验量是多少?通过监督模型去回算历史上每个采购单最佳的补货精度是多少。作为一个训练样本,给到大模型,通过深度学习训练的方式给出最佳建议。
在整个端到端的模型里,会把现在的销量预测、VLT预测、补货决策三块内容,通过一个大的神经网络结合成一个大模型,最终给出建议。为了提升整个模型的可解释性,会把中间过程的结果,像销量预测和VLT预测的结果输出出来,供大家做参考。
从我们验证效果来看,在实际的落地场景中,我们选了三个具体的品类做线上实验,实验效果非常不错,周转和现货能达到双升,无论对于常规品、畅销品,都能达到比较好的效果。
之前业务对我们的要求是预测得更准,现在越来越变得是希望我们预测的解释性更强。不但要有稳定的预测,还要解释出为什么今天的预测和昨天的不一样,或未来有一个峰值,这个峰值原因是什么。
我们也在不断地去探索预测的可解释性,到底怎么去做?目前我们在探索的过程中,有两步要走:
-
第一,预测过程可解释性,就是做了什么样的动作,数量增大了;
-
第二,结果的可解释性,对预测总量做拆解,哪些营销产生的量是因为促销产生的,哪些是因为价格产生的,需要把结果拆解出来,以方便和业务做事后badcase的追踪,我们有更好的解释能力。
④ 采配一体化
采配一体化,预测、补货、调拨、清滞各个环节是串联进行的。在这个过程中,因为决策链条比较长,节点比较多,一体化决策的技术实践难度非常大,鲁棒性挑战也很大。随着技术的不断完善和进步,未来如何做到一体化决策,是需要攻克的一个课题。我们需要解决的京东场景有采购、调拨行为。调拨包括大仓之间、从大仓到前置仓、从前置仓到大仓的调拨。整个过程中需要考虑的因素很多,周转、成本、损毁等因素。我们也在探索如何去提升采配产品一体化的水平,加速效率提升。
03
未来展望
我们Y的愿景是希望未来实现整个供应链的超级自动化,从单点自动化,变成从选品、定价、库存到履约的全链路自动化。
自动化的过程难度很大,从目前来评估,我们更多是在第二阶段,一些环节可以深度托管,自动设参、自动出单,有一套完全的自动化流程,达到非常高的自动化水平。未来,我们希望在这个过程中,能无需人工的干预,完全由系统执行全部流程。最后我们希望能实现全领域的自动化,自适应的运营,实现技术更好地服务业务的目标。
04
精彩问答
Q:引入分布预测,替代点预测之后对于周转现货损耗的指标有多少提升,有量化分析的结果吗?
A:我们之前做过几轮评测,由点预测切换成分布式点预测后,确实对效果有影响,但具体的量化结果,因为有一些因素,很难给出大家具体的值。
Q:请问对高峰期的销量预测有什么建议?比如大促的预测,或者一些特别的节假日,或一些突发的事件,该怎么去做预测?
A:从整个行业来看,大促环节一方面需要做预测,另外一方面需要有计划。比如业务在做操盘的时候,会给自己设一个目标,目标对预测的影响是很大的。如果业务侧销售目标是十亿,在做操盘营销手段的时候,会朝着十个亿目标去。如果能拿到整个销售目标,把目标考虑到预测的环境中,对预测效果的提升是非常显著的。尤其在618、双11、年货节大的节点上,效果会有非常显著的提升。
Q:请问端到端的补货决策模型对数据量等是否有适用条件的要求?端的决策模型在未来会取代预测加补货优化两步的流程吗?
A:首先回答第一个问题,从目前看,我们做的MQRNN的端,一般情况下要求数据集比较大,训练样本会在几十万左右的水平,如果太小,效果可能不是特别好。
第二个问题,技术的发展是螺旋式上升的,从目前来看预测加补货优化,它的解释性会非常强。如果下游是人做补货的动作,可能更倾向于预测加优化的思路。如果下游没有特别多的业务同学,预测加优化变成端的方式,在实际落地的时候,阻碍性会更小一些,从长远来看,端的模型会逐渐取代预测加优化的模型。
Q:策略库存是综合考虑大数据预测的不确定性和入库节奏,与安全库存本质上的区别在哪里?
A:策略库存和安全库存最大的差异是,有针对性的额外多备一部分库存。目前我们识别到大促备货是因为需求波动很大满足不了。
第一,受限于一些产能,比如用货量太大,供应商短时间内是没法生产的。
第二,物流瓶颈的限制,入仓不可能在短期内有那么大产能都入进来。
在这种情况下,需要差异化,按照节奏把货前置备进来,这个备货量往往是远大于目前满足销售的安全库存水平的,它是一个爆量。这个库存称为策略库存,是因为业务策略和一些操盘的手段,使它的库存前置进来。策略库存是在有超额、大量采购的行为下,供应商可能价格更便宜,我可能也更愿意多备一些货,它也是一类策略库存,这些库存是可以前置进来的。
今天的分享就到这里,谢谢大家。
阅读更多技术干货文章,请关注微信公众号“DataFunTalk”
关于我们:
DataFun:专注于大数据、人工智能技术应用的分享与交流。发起于2017年,在北京、上海、深圳、杭州等城市举办超过100+线下和100+线上沙龙、论坛及峰会,已邀请近1000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章500+,百万+阅读,13万+精准粉丝。
注:欢迎转载,转载请留言或私信。