小kk_p - 博客园

2024年7月

摘要：现代大型语言模型，如GPT-3、GPT-J、和GPT-Neo等，主要采用Decoder-only结构，这是由于几个关键原因：并行计算：Decoder-only模型在训练时可以采用单向注意力机制，这意味着每个token只关注它之前的token。这种单向性使得模型可以在训练时更容易地并行处理数据，从而阅读全文

posted @ 2024-07-05 18:22 小kk_p 阅读(1274) 评论(0) 推荐(0)

docker 拉取镜像的配置 bug 没有访问docker的权限

摘要：可行： https://zhuanlan.zhihu.com/p/702060624 https://zhuanlan.zhihu.com/p/692417348 https://blog.csdn.net/weixin_43564783/article/details/131869748 阅读全文

posted @ 2024-07-05 11:54 小kk_p 阅读(15) 评论(0) 推荐(0)

nccl的安装教程

摘要： https://blog.csdn.net/Scenery0519/article/details/128081062 nccl-test的测试：https://blog.csdn.net/MrKingloveyou/article/details/136074767 nccl2的调用案例：http 阅读全文

posted @ 2024-07-03 14:13 小kk_p 阅读(290) 评论(0) 推荐(0)

batchNorm和 layerNorm的区别

摘要： Layer Normalization（层归一化）和 Batch Normalization（批量归一化）都是深度学习中常用的归一化技术，用于加速训练过程和改善模型性能。它们的主要区别在于归一化的方式和应用的场景。 Batch Normalization（批量归一化）：归一化方式：Batch No 阅读全文

posted @ 2024-07-01 17:55 小kk_p 阅读(1286) 评论(0) 推荐(0)

2024年6月

Langchain-Chatchat 接入 glm4

摘要： llm的接入： https://blog.csdn.net/orientharp/article/details/139884688 embedding模型的接入： https://inference.readthedocs.io/zh-cn/latest/models/builtin/embedd 阅读全文

posted @ 2024-06-28 18:09 小kk_p 阅读(255) 评论(0) 推荐(0)

xinference的部署文档

摘要： https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/glm4-chat.html#model-spec-1-pytorch-9-billion 阅读全文

posted @ 2024-06-28 10:45 小kk_p 阅读(95) 评论(0) 推荐(0)

VQGAN的介绍

摘要： https://zhuanlan.zhihu.com/p/692383624 阅读全文

posted @ 2024-06-28 00:40 小kk_p 阅读(71) 评论(0) 推荐(0)

大模型常见面试题 - 常用微调方法LORA和Ptuning的原理

摘要： https://blog.csdn.net/sinat_37574187/article/details/137842571 阅读全文

posted @ 2024-06-26 13:46 小kk_p 阅读(277) 评论(0) 推荐(0)

cross attention的源码实现，并代码详细讲解

摘要： import numpy as np def softmax(x, axis=-1): """Softmax函数，用于计算注意力权重""" e_x = np.exp(x - np.max(x, axis=axis, keepdims=True)) return e_x / e_x.sum(axis= 阅读全文

posted @ 2024-06-23 16:49 小kk_p 阅读(4683) 评论(0) 推荐(0)

为什么有些softmax公式需要减去输入中的最大值

摘要： https://blog.csdn.net/weixin_38314865/article/details/107568686 阅读全文

posted @ 2024-06-22 22:49 小kk_p 阅读(19) 评论(0) 推荐(0)

公告