الانتقال إلى المحتوى الرئيسي

ابحث في النماذج والأدوات والخدمات والشركات والمزودين وواجهات API والخطط والمقالات والأخبار.

التدريب والضبط

التدريب المسبق

Pre-training

التدريب المسبق

المرحلة الأولية المكلفة التي يتدرب فيها النموذج على كميات هائلة من النصوص العامة ويكتسب اللغة والمعرفة العامة — وبعدها لا يزال نموذجًا عامًا.

التدريب المسبق هي المرحلة الثقيلة والمكلفة في بناء LLM: يمتص النموذج تريليونات الرموز من نصوص عامة (ويب وكتب وكود) حتى تستقر بنية اللغة والمعرفة العامة في معامله. ناتجه عامّ خام — ذكي بلا تخصص وأحيانًا بلا تهذيب.

ثمن هذه المرحلة هو السبب الرئيسي لانشغال الصناعة بالنماذج المفتوحة والتقريط: بناء نموذج حدوي يكلف ملايين من زمن GPUs، لذا إعادة بنائه نادرًا ما تكون عاقلة — بل يُعاد استخدام الموجود.

نقطة محورية: التدريب المسبق يبني القدرة لا الشخصية. وتحويل تلك القدرة إلى مساعد مفيد هو عمل المراحل التالية: الضبط الدقيق وRLHF.

العودة إلى المسرد