跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

训练与调优

LoRA(低秩适配)

LoRA

LoRA(低秩适配)

廉价的微调方法:不训练全部参数,只添加少量小矩阵——以极低成本实现模型定制。

LoRA(低秩适配)是高效训练的主力手段:不触碰数十亿基座参数,只训练新增的少量小矩阵。微调成本从「集群」降到「一张显卡」。

它无处不在的原因:多样性(一个基座可挂几十个 LoRA 应对不同任务)、速度(数小时)与可逆性(可退回基座)。在开源生态里,LoRA 意味着定制的民主化。

注意:多个 LoRA 叠加会损害质量;要注入海量知识,RAG 依然更明智。LoRA 为生成为「行为与风格」,不是为「知识库」而生。

返回术语表