2022年9月7日
A100 买不到了，只有小显卡怎么训大模型
摘要： 为了达到更好的训练效果，通常炼丹师们会使用更大的模型和更大的 Batch size，但因此带来的大显存占用，却成为不可避免的硬伤。 尤其是如今 GPU 越来越贵，甚至还可能买不到...... MegEngine v1.5 及以上版本，支持动态图和静态图的显存优化，显存占用可降至 1/4。 先上对比效 阅读全文
posted @ 2022-09-07 11:40 MegEngine 阅读(234) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示