توهم در مدلهای زبانی: چرا اتفاق میافتد و چطور کمترش کنیم

مدل زبانی در جوهر خودش «ماشین حدس محتملترین ادامهی متن» است — نه موتور جستجوی واقعیت. وقتی پاسخ دقیقی در دانش آموزشیاش نباشد، بهجای «نمیدانم» محتملترین شکلِ یک پاسخ درست را تولید میکند؛ گاهی این خروجی یک ارجاع ساختگی با نام نویسندهی قانعکننده است.
سه لایهی دفاعی امروزی: اول، RAG — بهجای اتکا به حافظه، اسناد واقعی بازیابی و به مدل داده میشود تا از روی آنها پاسخ بسازد. دوم، مدلهای استدلالی که قبل از پاسخ زنجیرهی استدلال میسازند و کمتر به حدسزدن سریع پناه میبرند. سوم، الزام به ذکر منبع قابلبررسی برای هر ادعا.
اما مهمترین لایه، کاربر است: از مدل بخواهید در موارد عدمقطعیت صریح باشد، پاسخهای حاوی آمار و ارجاع را بازبینی کنید و برای تصمیمهای پرخطر، پاسخ را با منبع اصلی تطبیق دهید. توهم هرگز صفر نمیشود — قابلمدیریت میشود.