پیشآموزش مرحلهی سنگین و پرهزینهی ساخت یک LLM است: مدل روی تریلیونها توکن متن عمومی (وب، کتاب، کد) آموزش میبیند تا ساختار زبان و دانش عمومی را در پارامترهایش جذب کند. خروجیاش یک «عمومیِ خام» است: باهوش اما بدون تخصص و گاهی بیادب.
هزینهی همین مرحله، دلیل اصلی تمرکز صنعت روی مدلهای باز و تقطیر است: ساخت یک مدل مرزی میلیونها دلار GPU است، پس هر بار آموزش مجدد منطقی نیست — باید از چیزی که ساخته شده دوباره استفاده کرد.
نکتهی کلیدی: پیشآموزش «قابلیت» میسازد، نه «شخصیت». تبدیل همان قابلیت به دستیار مفید کار مرحلههای بعد است: fine-tuning و RLHF.
