پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

آموزش و تنظیم

یادگیری تقویتی با بازخورد انسانی

RLHF

یادگیری تقویتی با بازخورد انسانی

روشی که در آن پاسخ‌های مدل توسط انسان‌ها رتبه‌بندی می‌شود و مدل یاد می‌گیرد پاسخ‌های مفیدتر، دقیق‌تر و ایمن‌تر بدهد؛ مکمل فنی «شخصیت» ChatGPT و Claude است.

RLHF (یادگیری تقویتی از بازخورد انسانی) مرحله‌ی تربیت مدل است: انسان‌ها چند پاسخ مدل را رتبه‌بندی می‌کنند، یک «مدل پاداش» از آن ترجیحات ساخته می‌شود و مدل اصلی برای بیشینه‌کردن پاداش تمرین داده می‌شود. نتیجه: کم‌حرف‌ترِ مؤدب، دقیق‌تر و قابل‌اتکاتر.

این همان ترفندی است که ChatGPT را از یک مدل متنِ خام متمایز کرد و امروز نسخه‌های سبک‌ترش (DPO) استانداردند. نقد اصلی: مدل می‌تواند به «خوش‌آمدن به انسان» واگرا شود نه «درست بودن» — پس داده‌ی انسانی باکیفیت هنوز گلوگاه است.

خلاصه: پیش‌آموزش «فهم» می‌دهد، RLHF «ادب و راست‌گویی» می‌دهد. آموزش مدرن مدل، تعادل همین مراحل است.

بازگشت به واژه‌نامه