11 2024 档案

使用llama.cpp部署Qwen2-VL-7B-Instruct模型
摘要：截止这篇笔记，llama.cpp主分支暂时不支持部署VL模型，需要切到一个分支上编译。部署流程整理自这个帖子。 部署流程如下： 1. 在modelscope上将Qwen2-VL-7B-Instruct下载下来。 2. 下载llama.cpp，需要下载这个分支。 3. 编译llama.cpp，流程和上 阅读全文
posted @ 2024-11-17 23:46 Dsp Tian 阅读(1750) 评论(0) 推荐(0) 编辑
使用llama.cpp部署Qwen2.5-7B-Instruct模型
摘要：这里选用Qwen2.5-7B-Instruct做例子，其他LLM类似。 VL用这个流程暂时还不行，不过我看到llama.cpp有在讨论这个问题，我验证了也是可行的，后面整理一下。 这里部署流程如下： 1. 在modelscope上将Qwen2.5-7B-Instruct下载下来。 2. 在ggerg 阅读全文
posted @ 2024-11-17 23:44 Dsp Tian 阅读(779) 评论(1) 推荐(0) 编辑
深度学习（VAE）
摘要：变分自编码器（VAE，Variational Auto-Encoder）是一种生成模型，它通过学习数据的潜在表示来生成新的样本。 在学习潜空间时，需要保持生成样本与真实数据的相似性，并尽量让潜变量的分布接近标准正态分布。 VAE的基本结构： 1. 编码器（Encoder）：将输入数据转换为潜在空间的 阅读全文
posted @ 2024-11-11 22:48 Dsp Tian 阅读(122) 评论(0) 推荐(0) 编辑
深度学习（tensorboard使用）
摘要：在做深度学习的时候，尤其是在没有界面的服务器上训练时，可以利用tensorboard工具输出各种曲线或中间图像。 下面代码将曲线和图像输出到run目录下临时文件中。 from tensorboardX import SummaryWriter from PIL import Image import 阅读全文
posted @ 2024-11-02 15:30 Dsp Tian 阅读(9) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示