09 2023 档案
摘要:在GPT的推理过程中,它根据完整的提问和回答的已生成部分,来生测下一个词(的概率)。 例如,我们的提问是【天王盖地虎,】,回答是【宝塔镇河妖。】。 那么第一次,GPT根据【天王盖地虎,】生成【宝】,之后根据【天王盖地虎,宝】生成【塔】,以此类推,直到碰上终止符。 这里面提问【天王盖地虎,】的QKV实
阅读全文
摘要:首先安装 OpenCL 和 clblast: vcpkg install opencl clblast 下载GitHub 上的源码: git clone --recurse-submodules https://github.com/li-plus/chatglm.cpp cd chatglm.cp
阅读全文
摘要:最近看了一下小说推文成品软件的思路,发现可以完全迁移到我的 [BookerAutoVideo](https://github.com/dracounion/BookerAutoVideo) 上面来。这篇短文里面,我试着分析一下整个推文视频生成的流程,以及简要阐述一下有什么工具。 整体流程是这样: !
阅读全文
摘要:大家都知道我主业是个运维开发(或者算法工程师),每天时间不多,但我又想做自媒体。然后呢,我就想了个方案,每天起来之后写个短视频的脚本,包含一系列图片和文字,然后上班的时候给它提交到流水线上跑,下班之前就能拿到视频,然后往各大平台上一传,是不是挺美滋滋的。 我和我之前的合伙人一说,他就觉得做短视频没啥
阅读全文
摘要: ```py class ChatGLMForConditionalGeneration(ChatGLMPreTr
阅读全文
摘要: ```py # 完整的 GLM 模型,包括嵌入层、编码器、输出层 class ChatGLMModel(ChatG
阅读全文
摘要: ```py # 编码器模块,包含所有 GLM 块 class GLMTransformer(torch.nn.Mo
阅读全文
摘要: ```py # GLM 块包括注意力层、FFN层和之间的残差 class GLMBlock(torch.nn.Mo
阅读全文
摘要: ```py class MLP(torch.nn.Module): """MLP. MLP will take
阅读全文