DaaS 加速 Eats 的送餐业务
DaaS 加速 Eats 的送餐业务
开发 DaaS 以实现高效的特征工程和受众细分以支持业务扩展 - 第 2 部分
经过 弗莱德
正如我们在 以前的帖子 ，Coupang Eats 食品配送业务正在推进自动化数据智能系统，从而加速业务增长。我们正在使用机器学习 (ML) 模型来预测 为我们的 Eats 配送合作伙伴 (EDP) 分配最佳订单 我们的业务分析师 (BA) 使用数据为客户提供定制的促销活动。
您可以在图 1 中看到 Eats 数据平台架构，它具有四个主要阶段和三个数据处理管道，可帮助我们解决具有不同时间敏感性的业务场景的数据需求。
Figure 1. The overall architecture of the Eats data platform.
在这篇文章中，我们想讨论一些特定的数据在业务中的使用以及我们是如何开发的 数据即服务 (DaaS) 以具有成本效益和快速的方式支持这些需求。我们的数据最突出的用例包括特征工程、受众细分、用户标记和业务指标计算。我们将通过两个例子来说明我们的数据平台如何提高我们的数据服务的效率：特征工程和受众细分。
目录
· 特色服务
∘ 解决方案
· 分段服务
∘ 离线且低效
∘ 解决方案
∘ 商业利益
· 结论
特征工程是从数据集中提取属性以进行 ML 训练的过程。功能可以提高模型的性能并在训练数据不可用时增加它。在 Eats，缺乏数据不是问题。事实上，我们有太多的数据和太多的特征需要实时、近实时和离线计算。
特色服务
在我们的数据平台之前，特征工程是一个漫长而费力的过程。如果没有集中式系统，数据工程师、数据科学家和 BA 会在特征工程上花费大量时间。
首先，数据工程师分析了数据科学家开发的特征需求。然后，工程师必须按需开发摄取管道并执行必要的数据转换以提取特征。在此过程中，工程师必须处理大量零散的数据系统和应用程序。为特征工程开发一个管道涉及多个团队之间的协作和完全的临时工程。为生产准备一个新功能需要一到两周的时间。
除了速度缓慢之外，多个团队或多个域所有者正在为完全相同的功能构建单独的管道。这不仅是工程资源的巨大成本，而且对我们系统的计算能力造成了损失。
我们开始将强大的 ML 模型应用到更多的业务领域，但特征工程过程成为了一个巨大的瓶颈来源。
解决方案
为了计算可以实时、近实时和离线提供给模型的大量特征，我们将特征服务构建为 Eats 数据平台的一个组成部分（事实上，数据处理管道最初是专为功能服务而构建）。
Eats 特征服务是一个一站式的 ML 特征发现、处理、生产和服务平台。它包括功能元数据管理和数据治理管理。该系统建立在我们的数据处理管道之上，并支持内置非实时、近实时和纯实时计算引擎的功能。
Figure 2. Feature service architecture.
功能服务提供功能组，团队可以通过这些功能组为特定业务场景管理一组已定义的功能。即使一个特征组需要关于客户、EDP 或商家的非实时、近实时和纯实时的不同数据点，特征服务也会处理每个请求并将结果汇总给用户。
例如，让我们看看如何在我们的服务上创建一个近实时 (NRT) 功能组。首先，用户必须配置详细信息以在生产中生成 NRT 功能作为 OLAP 引擎的 SQL 命令。接下来，用户将 SQL 输出列值映射到他们的特征名称，以帮助他们为正确的组生成值。然后，用户只需等待要素服务完成其工作并将要素输出到要素存储。
Figure 3. The feature service interface. Users first group the features as SQL commands (left) and then map the appropriate columns to the feature (right).
除了特征生成之外，特征服务还为模型预测提供在线服务，这将我们的后端、数据工程师、数据科学家从复杂而低效的特征工程过程中解放出来。
分段服务
假设我们想向我们的特定客户群展示有针对性的广告，或者以一种对业务影响最小的智能方式进行 A/B 测试。在这种情况下，仔细细分任务的目标受众非常重要。
Eats 将细分用于多个业务场景，包括：
- 通过折扣券在首尔的某些地区寻找不活跃的用户以重新参与
- 鼓励高峰时段线下EDP上线，缓解EDP供应短缺
- 在 EDP 任务的 A/B 测试期间设计最佳控制和测试组，以在不中断业务的情况下衡量各种 EDP 任务奖励的效率
离线且低效
上面提到的所有场景都需要根据预定义的标准对目标受众和细分进行复杂的分析。
在我们的数据平台之前，切分过程的典型流程如下：
- BA根据业务需求设置目标受众细分。
- BA 编写 SQL 查询以查找目标用户，并通知业务运营 (Ops) 以 Excel 电子表格的形式下载 SQL 结果。
- Ops 将 Excel 电子表格上传到 Eats 中的单独业务操作系统，以创建必要的任务（客户优惠券、EDP 任务等）。
- 最重要的是，如果运维人员想要在任务中进行 A/B 实验，则必须使用 Excel 表格对目标受众进行多次细分并重复上传。
工作流程涉及许多离线步骤，例如手动上传 Excel 表格，以及多个团队之间的协
解决方案
我们数据平台的细分服务是一个闭环的一站式系统，旨在帮助我们的业务运营商找到合适的目标受众来支持他们的业务决策或进行A/B实验。
Figure 4. Segmentation service architecture
与要素服务一样，分割服务也建立在通用数据处理管道之上。业务操作可以根据 OLAP 引擎上预先计算的配置文件标签选择过滤条件，并在必要时自动生成分段。
商业利益
在细分服务的帮助下，业务运营现在可以为所有任务自助服务受众细分。例如，希望创建新 EDP 任务的 BA 可以使用不同过滤条件的多种灵活组合在细分门户中过滤目标用户。这将创建一个新段。
如果 BA 想要为任务创建 A/B 测试，他们只需启用“拆分段”选项即可在父段下创建子段。然后，在任务创建页面中，他们只需要参考段 ID。
Figure 5. How to create an audience segment on our segmentation service. To enable splitting the audience for A/B testing, users simply have to enable “Split segment”.
通过集成这种细分服务，运营团队在设计和创建任务方面获得了令人难以置信的人力资源节省。创建 EDP 任务所花费的时间从个人平均 510 分钟减少到 260 分钟，团队从 8775 分钟减少到 4550 分钟。分段服务使个人和团队在创建 EDP 任务上花费的时间减少了 49%。
除了 EDP 任务之外，客户关系管理 (CRM) 和促销团队目前还使用细分服务来构建智能促销系统，以实现客户忠诚度和增长。
结论
在 Eats，顾客是第一位的。我们不断升级我们的技术，以确保我们的客户无论如何都能及时收到他们的订单。这篇文章中概述的 DaaS 只是我们迈向降低人类工程成本的智能系统之旅的开始。
您想加入一个使用数据创新送餐服务的团队吗？如果是这样，请查看我们的 空缺职位 .
Coupang Engineering 也在上线 推特 .关注我们以获取最新更新！
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明
