پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

معماری و مدل‌ها

ترنسفورمر

Transformer

ترنسفورمر

معماری شبکه عصبی که با مکانیزم «توجه» (Attention) کل متن را هم‌زمان پردازش می‌کند و زیربنای تمام مدل‌های زبانی بزرگ از ۲۰۱۷ تاکنون است.

ترنسفورمر معماری شبکه‌ی عصبی‌ای است که مقاله‌ی «Attention Is All You Need» (۲۰۱۷، گوگل) معرفی کرد و تمام بازی را عوض کرد: به‌جای پردازش ترتیبی و کند، با مکانیزم Attention همه‌ی توکن‌های متن را هم‌زمان و در ارتباط با هم پردازش می‌کند.

نتیجه: آموزش موازی روی سخت‌افزار، درک وابستگی‌های دور در جمله ( «ضمیر به کدام اسم برمی‌گردد؟» ) و مقیاس‌پذیری وحشتناک. هر مدل زبانی مهم امروز — GPT، Claude، Gemini، Llama — فرزند مستقیم همین معماری است.

ترکیب اجزا در یک نگاه: Embedding برای ورودی، لایه‌های Attention + Feed-forward به‌صورت انباشته، و Position Encoding برای حفظ ترتیب. نسخه‌های ۲۰۲۶ (MoE، FlashAttention، پنجره‌های هیبریدی) همان اسکلت را بهینه کرده‌اند، نه جایگزین.

بازگشت به واژه‌نامه