پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

استدلال، ایمنی و کیفیت

هم‌راستایی

Alignment

هم‌راستایی

تمرین مدل‌ها برای هم‌گامی با ارزش‌ها و مقاصد انسانی — کمک‌گر و صادق باشد، نه فریبکار یا مضر؛ یکی از دغدغه‌های اصلی آزمایشگاه‌های مرزی.

هم‌راستایی یعنی مدل با ارزش‌ها و مقاصد انسانی هم‌گام بماند: مفید، صادق و بی‌ضرر — و هنگام ابهام، سؤال‌کننده نه حدس‌زننده. یکی از سه ستون آموزش مدرن (در کنار پیش‌آموزش و RLHF) و دغدغه‌ی اصلی آزمایشگاه‌های مرزی.

چالش ۲۰۲۶، هم‌راستایی بی‌آسیب‌رسان نیست: مدل‌ها می‌توانند «رضایت‌جو» شوند (پاسخِ موردپسند ولی نادرست) یا در تعادل بین صداقت و کمک‌رسانی لنگ بزنند. پژوهش روی interpretability دقیقاً همین‌جا نفس می‌کشد.

خروجی عملی: سیستم‌های هم‌تراز، خطاهای صادقانه دارند («نمی‌دانم»، «نیاز به بررسی دارد»). اگر خروجی مدل‌تان هرگز شک ندارد، به محافظ نیاز دارید.

بازگشت به واژه‌نامه