随笔分类 - 大模型环境配置

解决加载GPT2（Tensorflow预训练模型）的Linear权重到PyTorch的Linear权重形状不匹配（互为转置）问题

摘要：解决报错内容： RuntimeError: Error(s) in loading state_dict for PyTorchBasedGPT2: size mismatch for transformer.h.0.attn.c_attn.weight: copying a param with 阅读全文

posted @ 2024-04-17 18:17 惋奈阅读(192) 评论(0) 推荐(0) 编辑

安装Ray包，Python降版本

摘要：平常安装ray包使用的是： 1 pip install ray 然而今天在安装了新的Anaconda之后安装ray包提示： 1 ERROR: Could not find a version that satisfies the requirement ray (from versions: non 阅读全文

posted @ 2024-04-03 18:07 惋奈阅读(642) 评论(0) 推荐(0) 编辑