ChatGPT

向量化
表示成数字后方便电脑处理，向量化以后得空间结构，展现出了一定的规律

如何找到词语的正确位置？
随机产生词向量，而后根据语料库进行训练
损失函数：计算出的结果和实际结果之间的差距，可以通过数学方法来收敛以使得差距越来越小
Word2Vec：词向量模型，Google提出的词向量化的方法，词嵌入

信息压缩与特征提取
CNN 卷积神经网络：找到了提取图片特征的方法
Transformer：Google提出的自注意力机制，解决了自然语言的特征提取问题

• 相似度计算
• 整句提取
• 跨语言映射
  编码器：将语言映射成向量，Google的BERT是一种编码器，注重对于语言的理解，训练的方式是完形填空
  解码器：将向量映射成另外一种语言，OpenAI的GPT是一种解码器，注重语言的生成，训练的方式是词语接龙

ChatGPT
通用人工智能，涌现