跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

训练与调优

预训练

Pre-training

预训练

成本高昂的初始阶段:模型在海量公共文本上训练,习得通用语言与知识——此后模型仍只是「通才」。

预训练是构建大语言模型的重成本阶段:模型在数万亿词元的公开文本(网页、书籍、代码)上吸收语言结构与通用知识,沉淀进参数。产出是一个「原始通才」——聪明但不专精,有时也不够礼貌。

正是这一阶段的成本让业界痴迷于开源模型与蒸馏:造一个前沿模型要花数百万美元 GPU 时长,重复造轮子极少是理性的——应当复用已有的成果。

关键点:预训练建立的是「能力」而非「人格」。把能力变成有用助手的,是后续阶段:微调与 RLHF。

返回术语表