搭建本地大模型-安装驱动及依赖-Pytorch,Pyton环境
构建本地大模型-安装依赖
环境
-
操作系统:Windows 10 LTSC
-
显卡:英伟达显卡
注意
- nvidia的显卡驱动需要先安装,建议用NVIDIA Studio驱动。
- 可以使用英伟达官方的自动驱动更新软件:官网自动更新下载驱动的软件
- CUDA会随着显卡的驱动安装就安装好了。
安装Pytorch
Pytorch的作用:
1、是一个深度学习框架,用于构建和训练神经网络模型。
2、许多流行的 AI 工具和库是基于 PyTorch 开发的,或者与 PyTorch 兼容。大模型进一步的处理或微调,就需要 PyTorch 作为基础框架。
3、硬件加速:Pytorch利用GPU进行计算加速,这使得在处理大规模数据和复杂模型时,训练速度更快。
安装Pytorch的步骤:
1、cmd输入nvidia-smi,查看显卡信息,
nvidia-smi
右上角 CUDA的版本 CUDA Version:
CUDA Version: 12.1
2、根据显卡CUDA版本,下载对应版本的Pytorch
根据自己的环境选择合适的版本,下载对应版本的Pytorch
环境 | 选项 |
---|---|
Pytorch | Stable |
Your OS | Windows |
Package | Conda |
Language | Python |
Compute Platform | 12.1 |
Run this Command: | 复制框中命令并在本机cmd中运行 |
以上选择的含义是,
- 选择Pytorch的Stable稳定版本
- 选择Windows,其他操作系统同理
- 选择Conda,也可以选择Pip
- 选择Python,因为我们是用Python,所以选择Python
- 选择CUDA 12.1,因为我的显卡是CUDA 12.1,所以选择CUDA 12.1,如果没有显卡,就选择CPU
- Run this Command: 复制框中命令并在本机cmd中运行,下载Pytorch
安装Langchain的依赖库
Langchain的作用
1、LangChain 是一个用于开发语言模型应用程序的框架,它可以帮助开发者将大语言模型LLM与其他数据源和工具结合起来,构建更复杂和强大的应用程序。我在这里使用它与ollama结合使用,实现本地大模型的调用。
2、创建多步骤的任务链,实现复杂的任务,比如Agent(智能体)用LangGraph实现。
3、链接外部数据源,如数据库、API、PDF、CSV等,实现RAG(增强检索)的功能
Langchain的模块
- Model I/O 与大模型进行交互
- Retrieval 检索,从外部数据源检索信息
- Agents 智能体,按照特定的任务链及工具执行任务
- Chains 链,将多个模块组合成一个任务链
- Memory 记忆, 用于存储和检索对话历史,在多次运行中提供连续性
- Callbacks 回调,用于在任务执行过程中获取信息和反馈,可以监控langchain的运行情况,用于优化性能和功能
安装Langchain的步骤
1、cmd输入以下命令,安装Langchain的依赖库:
conda install langchain langchain-core langchain-community langchain-text-splitters langchain-openai langchain-ollama bs4 -y
注意
请在前面用conda安装好的一个python虚拟环境下安装。
安装的时候会自动选择国内的镜像源,不需要魔法。
整个安装时间可能会比较长。