09 2023 档案

摘要:在GPT的推理过程中,它根据完整的提问和回答的已生成部分,来生测下一个词(的概率)。 例如,我们的提问是【天王盖地虎,】,回答是【宝塔镇河妖。】。 那么第一次,GPT根据【天王盖地虎,】生成【宝】,之后根据【天王盖地虎,宝】生成【塔】,以此类推,直到碰上终止符。 这里面提问【天王盖地虎,】的QKV实 阅读全文
posted @ 2023-09-21 12:41 绝不原创的飞龙 阅读(365) 评论(0) 推荐(0) 编辑
摘要:首先安装 OpenCL 和 clblast: vcpkg install opencl clblast 下载GitHub 上的源码: git clone --recurse-submodules https://github.com/li-plus/chatglm.cpp cd chatglm.cp 阅读全文
posted @ 2023-09-18 15:14 绝不原创的飞龙 阅读(92) 评论(0) 推荐(0) 编辑
摘要:最近看了一下小说推文成品软件的思路,发现可以完全迁移到我的 [BookerAutoVideo](https://github.com/dracounion/BookerAutoVideo) 上面来。这篇短文里面,我试着分析一下整个推文视频生成的流程,以及简要阐述一下有什么工具。 整体流程是这样: ! 阅读全文
posted @ 2023-09-08 13:34 绝不原创的飞龙 阅读(322) 评论(0) 推荐(0) 编辑
摘要:大家都知道我主业是个运维开发(或者算法工程师),每天时间不多,但我又想做自媒体。然后呢,我就想了个方案,每天起来之后写个短视频的脚本,包含一系列图片和文字,然后上班的时候给它提交到流水线上跑,下班之前就能拿到视频,然后往各大平台上一传,是不是挺美滋滋的。 我和我之前的合伙人一说,他就觉得做短视频没啥 阅读全文
posted @ 2023-09-05 12:28 绝不原创的飞龙 阅读(52) 评论(0) 推荐(0) 编辑
摘要:![](https://img2023.cnblogs.com/blog/1898939/202309/1898939-20230904182224084-1937412113.png) ```py class ChatGLMForConditionalGeneration(ChatGLMPreTr 阅读全文
posted @ 2023-09-04 18:22 绝不原创的飞龙 阅读(132) 评论(0) 推荐(0) 编辑
摘要:![](https://img2023.cnblogs.com/blog/1898939/202309/1898939-20230904181857291-366474134.png) ```py # 完整的 GLM 模型,包括嵌入层、编码器、输出层 class ChatGLMModel(ChatG 阅读全文
posted @ 2023-09-04 18:19 绝不原创的飞龙 阅读(205) 评论(0) 推荐(0) 编辑
摘要:![](https://img2023.cnblogs.com/blog/1898939/202309/1898939-20230904181352733-216543774.png) ```py # 编码器模块,包含所有 GLM 块 class GLMTransformer(torch.nn.Mo 阅读全文
posted @ 2023-09-04 18:14 绝不原创的飞龙 阅读(133) 评论(0) 推荐(0) 编辑
摘要:![](https://img2023.cnblogs.com/blog/1898939/202309/1898939-20230904180938085-614439600.png) ```py # GLM 块包括注意力层、FFN层和之间的残差 class GLMBlock(torch.nn.Mo 阅读全文
posted @ 2023-09-04 18:08 绝不原创的飞龙 阅读(139) 评论(0) 推荐(0) 编辑
摘要:![](https://img2023.cnblogs.com/blog/1898939/202309/1898939-20230904180340788-1151936298.png) ```py class MLP(torch.nn.Module): """MLP. MLP will take 阅读全文
posted @ 2023-09-04 18:04 绝不原创的飞龙 阅读(65) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示