跳转到主要内容

跨模型、工具、服务、公司、提供商、API、套餐、文章和新闻进行搜索。

训练与调优

人类反馈强化学习(RLHF)

RLHF

人类反馈强化学习(RLHF)

由人类对模型输出进行排序,模型从而学会给出更有用、更准确、更安全的回答——这是 ChatGPT 与 Claude 行为方式的技术核心。

RLHF(人类反馈强化学习)是模型的「教养」阶段:人类对模型的多个回答排序,奖励模型习得这些偏好,主模型再以此最大化奖励进行训练。结果是更有用、更准确、更有礼貌。

正是这一步让 ChatGPT 与原始文本模型分道扬镳,如今其轻量变体(DPO)已成标配。已知争议:模型可能偏向「讨好人类」而非「正确」——所以高质量人类数据仍是瓶颈。

简言之:预训练给「理解」,RLHF 给「礼貌与诚实」。现代模型训练就是这些阶段的平衡。

返回术语表