目前,多数大模型具备生成图像、视频、音频等多模态功能,但在预训练的过程中对内存的需求越来越高,例如,消费级显卡根本无法满足训练要求,对于个人、小型企业来说非常不方便。MetaAI、加州理工学院、卡内基梅隆大学等研究人员,联合推出了一种高效训练方法GaLore。相比传统的LoRA(低秩适应)优化方法,GaLore通过在训练过程中梯度矩阵自然呈现的低秩结构,可大幅降低30%优化器状态的内存需求,同时保留完全参数的学习能力。
来源:
AIGC开放社区
![](https://cdn.2ai.cn/wp-content/uploads/2024/01/485483a21b32a21.png)
未经允许不得转载:爱AI工具库 » 极大降低大模型训练内存需求,Meta等推出高效方法