07 2021 档案
摘要:1. 前言 当前公司的大数据实时链路如下图,数据源是MySQL数据库,然后通过Binlog Query的方式消费或者直接客户端采集到Kafka,最终通过基于Spark/Flink实现的批流一体计算引擎处理,最后输出到下游对应的存储。 2. 模型特征架构的演进 2.1 第一代架构 广告业务发展初期,为
阅读全文
摘要:Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务,以将特征物化到在线特征存储库,不仅仅保证低延迟访问,而且还保证在服务时间可以访问最新鲜的特征值。 企业机器学习模型为指导产品用户交互提供了价值价值。通常这些 ML 模型应用
阅读全文