智能推荐系统中的存储（陆游游）_报告笔记

• 场景：数据量大、实时性强

• 传统方法：哈希表存储

  1. Hash(id) % M: M大，冲突小，内存消耗大；M小，相反。

  2. ID不断增长

  3. 服务器资源有限

  4. Tensorflow服务不了大规模数据

• 提出方法1: Kraken (Memory-Efficient Continual Learning)

  1. For both training and serving: Global Shared Embedding Table (GSET)全局共享存储

     • table灵活伸缩

     • Feature admission/eviction: 哪些数据适合放入内存/哪些踢出去，通常热的数据放入       GSET，冷的数据用一次丢掉。

  2. For training: Sparsity-aware training framework

     • 改变算法

  3. For serving: Efficient continuous deployment and real-time serving

     • 服务器配置上，存算分离开

• 提出方法2: Fleche (Efficient GPU Embedding Cache)

  1. Flat Cache

     • Key idea: 多个cache变成一个，一起缓存

     • 优点：冷热区分上可以做一个公平的比较

  2. Self-identified kernel fusion

     • Key idea: Launch a kernel with sufficient threads and let each thread self-identify the original kernel and execute. (一个统一的kernel)

     • 效果：1-2x的提升