RLHF (یادگیری تقویتی از بازخورد انسانی) مرحلهی تربیت مدل است: انسانها چند پاسخ مدل را رتبهبندی میکنند، یک «مدل پاداش» از آن ترجیحات ساخته میشود و مدل اصلی برای بیشینهکردن پاداش تمرین داده میشود. نتیجه: کمحرفترِ مؤدب، دقیقتر و قابلاتکاتر.
این همان ترفندی است که ChatGPT را از یک مدل متنِ خام متمایز کرد و امروز نسخههای سبکترش (DPO) استانداردند. نقد اصلی: مدل میتواند به «خوشآمدن به انسان» واگرا شود نه «درست بودن» — پس دادهی انسانی باکیفیت هنوز گلوگاه است.
خلاصه: پیشآموزش «فهم» میدهد، RLHF «ادب و راستگویی» میدهد. آموزش مدرن مدل، تعادل همین مراحل است.
