RLHF(人类反馈强化学习)是模型的「教养」阶段:人类对模型的多个回答排序,奖励模型习得这些偏好,主模型再以此最大化奖励进行训练。结果是更有用、更准确、更有礼貌。
正是这一步让 ChatGPT 与原始文本模型分道扬镳,如今其轻量变体(DPO)已成标配。已知争议:模型可能偏向「讨好人类」而非「正确」——所以高质量人类数据仍是瓶颈。
简言之:预训练给「理解」,RLHF 给「礼貌与诚实」。现代模型训练就是这些阶段的平衡。
RLHF

由人类对模型输出进行排序,模型从而学会给出更有用、更准确、更安全的回答——这是 ChatGPT 与 Claude 行为方式的技术核心。
RLHF(人类反馈强化学习)是模型的「教养」阶段:人类对模型的多个回答排序,奖励模型习得这些偏好,主模型再以此最大化奖励进行训练。结果是更有用、更准确、更有礼貌。
正是这一步让 ChatGPT 与原始文本模型分道扬镳,如今其轻量变体(DPO)已成标配。已知争议:模型可能偏向「讨好人类」而非「正确」——所以高质量人类数据仍是瓶颈。
简言之:预训练给「理解」,RLHF 给「礼貌与诚实」。现代模型训练就是这些阶段的平衡。