大得不同：推荐系统模型与NLP模型

 

 

大得不同：推荐系统模型与NLP模型

推荐系统和自然语言处理是大模型高发的两大应用领域，在大的特征下，它们又有各自的特点。下面以推荐系统的代表模型DLRM(Deep Learning Recommendation Model)和GPT-3(Generative Pre-Training)为例说明。

DLRM vs GPT-3

可以看到，推荐系统模型参数大部分在embeddings部分，而NLP模型参数大部分在FC(transformer)部分。可以认为推荐系统比NLP更稀疏(sparse)、且memory intensive得多。

References

1. The GPT-3 Architecture, on a Napkin

2. GPT-3 An Overview

3. Language Models are Few-Shot Learners

4. Improving Language Understanding by Generative Pre-Training

5. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

6. Attention Is All You Need

7. BERT transformer block code

8. Deep Learning Recommendation Model for Personalization and Recommendation Systems

9. Behavior Sequence Transformer for E-commerce Recommendation in Alibaba