微博机器学习平台云上最佳实践
简介： 本文讲述了微博机器学习平台和深度学习平台的业务功能和云上实践，剖析了阿里云大数据在微博这两大学习平台的架构建设上所起到的作用。
**新浪微博数据计算平台系统架构师 曹富强
**
本文讲述了微博机器学习平台和深度学习平台的业务功能和云上实践，剖析了阿里云大数据在微博这两大学习平台的架构建设上所起到的作用。
微博介绍
微博是2008年上线的，中国头部、流行的社交媒体平台，提供人们在线创作、分享和发现优质内容的服务，微博的大规模机器学习平台可支持千亿级参数、百万QPS调用。目前微博的日活是2.22亿，月活是5.16亿。
微博机器学习平台（WML）优势
微博机器学习平台的特点是样本规模大，百亿级样本，实时性比较高，是分钟级，然后模型规模是百亿级，模型实时性根据不同场景有小时级、分钟级和秒级。作业的稳定性的话要求是三个9，平台业务多，场景丰富迭代快。
微博机器学习平台（WML）CTR模型
微博机器学习平台的CTR模型经过数字版本的迭代，从1.0的离线机器学习到3.0的离线和深度，到5.0的在线机器学习、离线机器学习和深度机器学习结合。再到目前我们是往在线深度学习方向发展。总体来说经过历史迭代，目前支撑的参数规模达千亿级，服务峰值达百万QPS，模型更新是10分钟量级。
微博机器学习平台（WML）架构
我们看一下微博机器学习平台的架构，微博机器学习平台为CTR、多媒体等各类机器学习和深度学习算法，提供从样本处理、模型训练、服务部署到模型预估的一站式服务。总体的话是基于在线计算集群，离线计算集群和高性能计算集群。我们通过资源的WeiBox调度框架和WeiFlow工作流引擎，计算平台的话是WeiLearn框架集成的Hadoop/Spark、Flink/Storm、TensorFlow/Pytorch，提供了诸多丰富的算法。基于这些算法，训练的模型，我们入到我们WeiPS模型库，然后通过WeiServing对外提供在线推理服务。
微博机器学习在阿里云上实践
我们的阿里云上实践使用了Flink、MaxCompute、Alink、PAI。基于这些服务提供了热门微博、Feed流、绿洲推荐，使用MaxCompute实现在相同规模下万亿样本百亿特征全量训练，比Hadoop集群提升10倍。支持从天级到分钟级的实时热门微博、Feed流业务推荐及搜索样本实施训练、上线，业务推荐效果提升10%。基于Flink搭建了实时计算平台，集成了作业提交端UI/WeiClient、作业管理、资源管理、日志系统、监控报警系统等各链路，作业规模上千。整体来说阿里云建设机器学习有几大优势：支持大规模处理、算法丰富、平台成熟运维方便、投入时间直接聚焦到业务。
微博深度学习平台（WDL）典型业务场景
接下来介绍微博深度学习相关的业务，目前的话在微博的关系流、绿洲、新浪视频推荐、正文推荐流里面都有深度学习的应用。
微博深度学习平台（WDL）架构
基于在线gpu的机器，我们通过K8s和Yarn管理，然后通过WeiArena和el-submit提交任务。我们的WeiLearn集成了TensorFlow、Pytorch引擎，然后集成了样本库读取和输出的模型库。然后WeiServing加载了模型库，对外提供两路服务，一个是通过AI服务直接对外提供AI输出能力，另外就是我们的计算服务WeiStorm，集成了数据流，调用WeiServing RPC服务框架，实时生成多媒体特征，对外提供在线服务推理。
微博深度学习平台（WDL）多媒体特征生成
微博机器学习深度平台多媒体特征的生成，只有两条链路，第一路是离线的训练，离线训练模型通过数据源的处理输出到样本库，然后通过我们WeiServing分布式训练模型调用，输出到模型库，这一路的话是一键CICD、分布式训练、支持多种类的模型。另一路是在线推理，在线推理的话消费多媒体实时数据流，调用我们的WeiServingRPC框架，输出多媒体特征，然后应用到业务，这条链路的话，我们通过对账系统、case追踪、全链路监控去做服务保障，成功率是99.99%，延时是秒级延时。开发模式是通过UI化、配置化、一键部署。
微博深度学习平台（WDL）基本功能
微博深度学习平台产品功能的话，一个是样本库，然后分布式训练，模型库，在线推理服务和计算服务。样本库的话主要是包含样本数据管理和样本分布式存储，对在各节点上零散的样本进行统一管理；分布式训练的话，内置常用深度学习算法并持续新增成熟的算法，规范样本读取，训练gpu集群的灵活调度和训练模型的统一存储；模型库的话提供分布式系统和本地两种存储方式，为在线推理服务提供模型；在线推理服务，支持Python和C++模型的一键部署，实现模型推理的服务化以及监控、告警等。可封装为HTTP服务，对外直接提供AI的能力，实现AI能力的直接输出；计算服务，基于内部的多媒体分发系统，接入多媒体数据流，调用在线推理服务，实时生成多媒体特征。
微博深度学习平台（WDL）业务实践
微博深度学习平台业务实践，早期的话基于单机训练处理大规模数据时训练周期长，迭代慢，影响业务效果。 于是我们提供了多媒体深度学习服务方案，微博深度学习平台就应运而生，实现了样本存储、离线训练、在线推理及模型存储一体化功能。最终产生的效果和业务价值是：分布式训练极大缩短了训练时间，为快速业务迭代提供良好基础；一体化服务让我们只需要专注于模型算法优化，提高业务效率，整体上为业务赋能和业务承建产生了巨大的推动力。
