2024 年 6月随笔档案 - 小丑_jk

Langchain-Chatchat 接入 glm4

摘要：llm的接入： https://blog.csdn.net/orientharp/article/details/139884688 embedding模型的接入： https://inference.readthedocs.io/zh-cn/latest/models/builtin/embedd 阅读全文

posted @ 2024-06-28 18:09 小丑_jk 阅读(159) 评论(0) 推荐(0) 编辑

xinference的部署文档

摘要：https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/glm4-chat.html#model-spec-1-pytorch-9-billion 阅读全文

posted @ 2024-06-28 10:45 小丑_jk 阅读(57) 评论(0) 推荐(0) 编辑

VQGAN的介绍

摘要：https://zhuanlan.zhihu.com/p/692383624 阅读全文

posted @ 2024-06-28 00:40 小丑_jk 阅读(45) 评论(0) 推荐(0) 编辑

大模型常见面试题 - 常用微调方法LORA和Ptuning的原理

摘要：https://blog.csdn.net/sinat_37574187/article/details/137842571 阅读全文

posted @ 2024-06-26 13:46 小丑_jk 阅读(159) 评论(0) 推荐(0) 编辑

cross attention的源码实现，并代码详细讲解

摘要：import numpy as np def softmax(x, axis=-1): """Softmax函数，用于计算注意力权重""" e_x = np.exp(x - np.max(x, axis=axis, keepdims=True)) return e_x / e_x.sum(axis= 阅读全文

posted @ 2024-06-23 16:49 小丑_jk 阅读(2031) 评论(0) 推荐(0) 编辑

为什么有些softmax公式需要减去输入中的最大值

摘要：https://blog.csdn.net/weixin_38314865/article/details/107568686 阅读全文

posted @ 2024-06-22 22:49 小丑_jk 阅读(8) 评论(0) 推荐(0) 编辑

ubuntu离线安装 Docker / Docker-compose

摘要：https://www.cnblogs.com/atuotuo/p/9272368.html 阅读全文

posted @ 2024-06-19 15:35 小丑_jk 阅读(10) 评论(0) 推荐(0) 编辑

TVM与TensorRT部署性能对比

摘要：https://zhuanlan.zhihu.com/p/390510404 阅读全文

posted @ 2024-06-18 14:19 小丑_jk 阅读(16) 评论(0) 推荐(0) 编辑

vqgan的报错问题解决（cusolver error: CUSOLVER_STATUS_INTERNAL_ERROR, when calling `cusolverDnCreate(handle)）

摘要：https://github.com/nerdyrodent/VQGAN-CLIP/issues/164 阅读全文