大模型快速入门+学习路线

什么是大模型

大模型，是指在人工智能领域，特别实在自然语言处理和机器学习中，拥有大量参数的深度学习模型。
这些模型通过在大规模数据集上进行训练，能够学到丰富的数据表示和模式，从而在各种任务上表现出色，如文本生成，语言理解，图像识别等。
大模型是具有大量参数和复杂结构的模型，这些模型通常具数十亿甚至数万亿个参数，能够处理大规模的数据和复杂的任务。
通常使用深度学习技术，如深度神经网络，可以从数据中学习并提取特征来执行各种任务。

如何学习

前置知识 Python基础 Linux基础

（1）学习目的

• 掌握Python基础，熟悉常用的Python库和工具，如NumPy、Pandas、Matplotlib、Scikit-learn、TensorFlow、PyTorch等
• 具备NLP相关的基础知识，包括文本预处理、分词、词性标注、命名实体识别、词向量表示等。
• 对大模型有一定了解，包括transfermer模型的结构和原理、基于注意力机制的自然语言处理技术等。
  （2）参考内容
• 廖雪峰Python教程
  （3）学习要求
• 熟练掌握并能够编写基础的Python函数、语法等，能够熟练使用Linux系统

Step1：NPL相关基础知识

（1）学习目的

• 了解文本预处理、分词、词性标注、命名实体识别、词向量表示等基础知识
• 掌握自然语言处理（NPL)相关技术，如分词、词性标注、命名实体识别、句法分析等。
• 掌握机器学习的数据预处理、特征提取、分类、回归等基础算法，并了解在NPL领域的应用。
• 了解大规模NPL任务中的常用技术和方法，如深度学习中的transfermer模型、BERT、GPT等。
  （2）参考内容
  李沐 动手学深度学习
  （3）学习要求
  理解并掌握机器学习、深度学习、自然语言处理的基础概念，最好能阅读并吸收课程中提到的经典论文，能够独立实现在colab上训练模型（小模型）

Step2：GPT API调用及Prompt设计

（1）学习目的

• 了解GPT API的调用方式和基本操作，熟悉Prompt设计技巧和要点，能够结合自己的任务调用API实现对应的任务代码
  （2）学习要求
  了解大模型以及对应NPL知识的基础原理，能够熟练调用GPT API，编写Prompt完成各种任务

Step3：模型微调

（1）学习目的：了解常见的微调模型的基本流程和原理，熟练数据集的构造、训练、评估等过程，能够独立构建QA对，在服务器上对模型进行微调
（2）学习要求
能够独立完成大模型的微调数据构建、训练以及部署工作

Step4：RAG(外挂数据库）

（1）学习目的
RAG作为目前最火的一个LLM落地方向，可以结合私有数据（表格、word、txt、pdf、数据库皆可）实现本地回答，且训练成本较低，可以快速实现效果
（2）学习内容

• LangChain
• FastGPT
• LangChain-Chatchat（快速部署框架）
• DB-GPT
  （3）学习要求
  能够在本地实现基于大模型的外挂部署方案。