RLHF (التعلم المعزز بالتغذية الراجعة البشرية) هو مرحلة تهذيب النموذج: يرتب البشر عدة إجابات، ويتعلم نموذج مكافأة تلك التفضيلات، ويُدَرَّب النموذج الرئيسي لتعويض المكافأة. الناتج: أكثر إفادة ودقة وتهذيبًا.
هذه هي الحيلة التي ميّزت ChatGPT عن نموذج نص خام؛ ومتغيراتها الأخف (DPO) معيارية اليوم. النقد المعروف: قد ينحرف النموذج نحو إرضاء البشر بدل الصواب — فتبقى بيانات بشرية عالية الجودة عنق الزجاجة.
خلاصة: التدريب المسبق يعطي فهمًا، وRLHF يعطي أدبًا وصدقًا. تدريب النماذج الحديث هو توازن هذه المراحل.
