.NET8 qwen2大语言模型
前言
dotnet8项目接入qwen大模型，这个主要用到了大模型管理工具叫做 ollama 有了它，接入大模型so easy。使用ollama可以接入很多大模型，详见：https://ollama.com/library
环境
- vs2022 preview
- dotent8
- Windows 10 企业版
1、下载ollama
https://github.com/ollama/ollama
安装完成以后，默认启动，可以看到任务栏有个羊驼
2、运行qwen
https://ollama.com/library/qwen2
打开cmd，运行命令行
# 下载qwen大模型，这里下载0.5b
ollama pull qwen2:0.5b
# 运行qwen大模型
ollama run qwen2:0.5b下载完成的model在电脑中的存储位置：C:\Users\qinglin.yang\.ollama
成功运行后，就可以在控制台与其对话。
3、项目接入
1. NuGet安装OllamaSharp
https://github.com/awaescher/OllamaSharp
2. 上代码
我是在webapi项目中测试的，这个根据自己需求来吧~ 这个很简单~ 看下github上教程就行。
然后在控制台对话~
4、WebUI
如果自己玩，想要个UI界面，也是有现成的。自己去Github看下启动下就行，很简单。
https://github.com/ollama-webui/ollama-webui-lite
5、本地微调
参考：
https://github.com/v3ucn/Unsloth-Windows-fineTuning-Qwen2?tab=readme-ov-file
https://blog.csdn.net/python122_/article/details/140945620
1. 安装anaconda
https://www.anaconda.com/download/success
安装成功以后，可以看到：
2. 安装依赖
打开 Anaconda Prompt，然后键入命令：
# 创建新的环境
conda create -n PY3.12 python=3.12
# 激活环境
conda activate PY3.12
# 安装依赖
pip install transformers datasets peft accelerate modelscope swanlab
pip install torch torchvision
安装过程需要少等会~~~
3. 下载大模型
git lfs install
git clone https://www.modelscope.cn/qwen/Qwen2-0.5B.git
# 如果克隆失败，则继续拉取
cd Qwen2-0.5B
git lfs pull4. 安装jupyterlab
参考教程：https://blog.csdn.net/weixin_55629186/article/details/132526018
# 安装
pip install jupyterlab
# 启动
jupyter-lab
# 安装中文语言包
pip install jupyterlab-language-pack-zh-CN
重启下应用，然后设置语言
5. 运行脚本
打开 Anaconda Prompt，然后键入命令：
python D:\yangqinglin\projects_personal\Qwen2\Qwen2-0.5B-train.py
这个时候录入Swanlab的Key（这个比较恶心，ctrl+v复制不行，后来鼠标右键可以了，但是控制台也不显示内容）
这个进度我想哭~~~我电脑是集成显卡~~要死了。
这个时候访问https://swanlab.cn/就可以看到运行的项目了。
问题记录
问题1：OSError: [WinError 126] 找不到指定的模块。 Error loading "D:\anaconda3\envs\PY3.12\Lib\site-packages\torch\lib\fbgemm.dll" or one of its dependencies.
参考：https://blog.csdn.net/weixin_43591849/article/details/140715890
在该页面下载一个版本，https://www.dllme.com/dll/files/libomp140_x86_64/versions
然后复制到System32目录下
