06 2024 档案
摘要:大模型微调需要多少GPU显存? 如:微调 1B 模型,16bit = 2byte 全量微调 显存占用分为: model weight(参数本身):10亿(bit) = 20亿(byte)约等于2GB 训练模型时,通过一系列反向传播的方法,来更新模型参数,涉及以下gradient和optimizer
阅读全文
摘要:转载:大模型与安全专题 引言 2022年底以来,以ChatGPT为代表的大模型飞速发展,正在成为#驱动新质生产力发展#的新动能、人类探索未知的新工具. 在显著提升人工智能(artificial intelligence, AI)模型通用理解和生成能力的同时,也带来了前所未有的安全风险. 大模型的能
阅读全文