使用LM Studio来运行本地版本大语言模型|大模型国内源|大模型本地下载设置
自2022年11月30日发布ChatGPT对话性大预言模型，AI再一次被推向了高潮，再到后来，国内外也衍生了大量的语言模型开放给公众使用。为了可以让更多人接触到AI，让本地化部署更加轻便快捷，于是就有了Ollama、LM Studio等可以在本地部署模型的工具。
这两款工具相比较来说，个人觉的LM Studio更加方便，使用ollama如果需要web界面，那就得要使用docker在搭建一个环境，而LM Studio直截了当提供了图形化界面，并且直接下载gguf模型文件加载就可以直接使用了。
环境准备
系统：Windows\支持Apple M系列芯片\Linux系统
CPU：支持AUX2指令即可
内存：16G及以上
显存：NvidiaRtx2060 8G及以上,Rtx3060,3070,4060,4070,4080 16G以上
CUDA:CMD->nvidia-smi CUDA Version: 12.2+
硬盘：100G+的固态放模型和LM Studio
安装
先去官网下载一个LM Studio
官网网址：
LM Studio - Discover, download, and run local LLMs
根据当前自己的系统下载对应的就可以了。
下载完成后直接打开就行了，不需要点击安装，但是默认是安装到C盘的，所以如果C盘空间吃紧，可以将程序的文件移到其他的盘。
1、 进入目录，如下所示：
使用LM Studio来运行本地版本大语言模型_LM Studio_03
2、右键app-0.2.23，使用VS Code打开，然后把里面的huggingface.co链接替换为hf-mirror.com：
使用LM Studio来运行本地版本大语言模型_LM Studio_04
打开之后，就可以下载模型文件了，在lm里面下载模型的话，是从hg里面拉取下来的，需要翻翻那一睹墙才能下载，但是作为遵纪守法的好公民，我们怎么可以随意翻呢！！！？这里有两种解决方案：
- 从国内的模型站下载，魔塔社区：ModelScope魔搭社区
- 使用VScode修改 huggingface.co链接替换为国内镜像 hf-mirror.com就可以查找下载大模型镜像
具体操作为：
1、 进入目录，如下所示：
因链接被屏蔽暂停的预下载位置：C:\Users\用户名\.cache\lm-studio\download.json
2、右键app-0.2.23，使用VS Code打开，然后把里面的huggingface.co链接替换为hf-mirror.com：
3、 重启LM Studio，就可以搜索下载LLM大模型了。
LM Studio简介的界面，左侧列出所有的功能区
Home：主屏幕区，后面推荐各类大模型
Search：搜索下载各类大模型，首先推荐国内天工大模型Skywork 13B，昆仑万维出品，效率杠杠滴。（Qwen2-7B）二推Mistral 7B
AI Chat：模型对话区
Multi Model：多模型对话，显存要大24G+
Local Server：创建web服务
My Models：已下载模型和文档设置
