搭建本地大模型-安装驱动及依赖-Pytorch,Pyton环境

构建本地大模型-安装依赖

环境

  • 操作系统:Windows 10 LTSC

  • 显卡:英伟达显卡

注意

  • nvidia的显卡驱动需要先安装,建议用NVIDIA Studio驱动。
  • 可以使用英伟达官方的自动驱动更新软件:官网自动更新下载驱动的软件
  • CUDA会随着显卡的驱动安装就安装好了。

安装Pytorch

Pytorch的作用:
1、是一个深度学习框架,用于构建和训练神经网络模型。
2、许多流行的 AI 工具和库是基于 PyTorch 开发的,或者与 PyTorch 兼容。大模型进一步的处理或微调,就需要 PyTorch 作为基础框架。
3、硬件加速:Pytorch利用GPU进行计算加速,这使得在处理大规模数据和复杂模型时,训练速度更快。

安装Pytorch的步骤:
1、cmd输入nvidia-smi,查看显卡信息,

nvidia-smi

右上角 CUDA的版本 CUDA Version:

CUDA Version: 12.1

2、根据显卡CUDA版本,下载对应版本的Pytorch

进入Pytorch官网

根据自己的环境选择合适的版本,下载对应版本的Pytorch

环境 选项
Pytorch Stable
Your OS Windows
Package Conda
Language Python
Compute Platform 12.1
Run this Command: 复制框中命令并在本机cmd中运行

以上选择的含义是,

  • 选择Pytorch的Stable稳定版本
  • 选择Windows,其他操作系统同理
  • 选择Conda,也可以选择Pip
  • 选择Python,因为我们是用Python,所以选择Python
  • 选择CUDA 12.1,因为我的显卡是CUDA 12.1,所以选择CUDA 12.1,如果没有显卡,就选择CPU
  • Run this Command: 复制框中命令并在本机cmd中运行,下载Pytorch

安装Langchain的依赖库

Langchain的作用
1、LangChain 是一个用于开发语言模型应用程序的框架,它可以帮助开发者将大语言模型LLM与其他数据源和工具结合起来,构建更复杂和强大的应用程序。我在这里使用它与ollama结合使用,实现本地大模型的调用。
2、创建多步骤的任务链,实现复杂的任务,比如Agent(智能体)用LangGraph实现。
3、链接外部数据源,如数据库、API、PDF、CSV等,实现RAG(增强检索)的功能

Langchain的模块

  • Model I/O 与大模型进行交互
  • Retrieval 检索,从外部数据源检索信息
  • Agents 智能体,按照特定的任务链及工具执行任务
  • Chains 链,将多个模块组合成一个任务链
  • Memory 记忆, 用于存储和检索对话历史,在多次运行中提供连续性
  • Callbacks 回调,用于在任务执行过程中获取信息和反馈,可以监控langchain的运行情况,用于优化性能和功能

安装Langchain的步骤
1、cmd输入以下命令,安装Langchain的依赖库:

conda install langchain langchain-core langchain-community langchain-text-splitters langchain-openai langchain-ollama bs4 -y

注意
请在前面用conda安装好的一个python虚拟环境下安装。
安装的时候会自动选择国内的镜像源,不需要魔法。
整个安装时间可能会比较长。

posted @ 2025-01-19 19:10  老菜鸟111  阅读(34)  评论(0编辑  收藏  举报