التدريب المسبق هي المرحلة الثقيلة والمكلفة في بناء LLM: يمتص النموذج تريليونات الرموز من نصوص عامة (ويب وكتب وكود) حتى تستقر بنية اللغة والمعرفة العامة في معامله. ناتجه عامّ خام — ذكي بلا تخصص وأحيانًا بلا تهذيب.
ثمن هذه المرحلة هو السبب الرئيسي لانشغال الصناعة بالنماذج المفتوحة والتقريط: بناء نموذج حدوي يكلف ملايين من زمن GPUs، لذا إعادة بنائه نادرًا ما تكون عاقلة — بل يُعاد استخدام الموجود.
نقطة محورية: التدريب المسبق يبني القدرة لا الشخصية. وتحويل تلك القدرة إلى مساعد مفيد هو عمل المراحل التالية: الضبط الدقيق وRLHF.
