预训练是构建大语言模型的重成本阶段:模型在数万亿词元的公开文本(网页、书籍、代码)上吸收语言结构与通用知识,沉淀进参数。产出是一个「原始通才」——聪明但不专精,有时也不够礼貌。正是这一阶段的成本让业界痴迷于开源模型与蒸馏:造一个前沿模型要花数百万美元 GPU 时长,重复造轮子极少是理性的——应当复用已有的成果。关键点:预训练建立的是「能力」而非「人格」。把能力变成有用助手的,是后续阶段:微调与 RLHF。