GPT-3 vs Bert vs GloVe vs Word2vec 文本嵌入技术的性能对比测试

随着NLP(自然语言处理)的最新进展，OpenAI的GPT-3已经成为市场上最强大的语言模型之一。2022年1月25日，OpenAI公布了一个embedding endpoint(Neelakantan et al.， 2022)。该神经网络模型将文本和代码转换为向量表示，将它们嵌入到高维空间中。这些模型可以捕获文本的语义相似性，并且在某些用例中似乎实现了最先进的性能。

由于chatgpt的大火，GPT-3又进入到了人们的视野中，本文将通过使用text-embedding-ada-002（GPT-3的一个Embeddings，选择该模型是因为它价格适中且使用简单），与三种传统文本嵌入技术生成的嵌入的性能进行比较；GloVe（Pennington、Socher Manning，2014 年）、Word2vec（Mikolov ，2013 年）和 MPNet（Song ，2020 年）。这些嵌入将用于训练多个机器学习模型，使用Amazon美食评论数据集中的食品评论评分进行分类。每种嵌入技术的性能将通过比较它们的准确性指标来评估。

完整文章：

https://avoid.overfit.cn/post/58e8c9b6ed3d44a0ba777f89d193f76e