پرش به محتوای اصلی

جست‌وجو در مدل‌ها، ابزارها، سرویس‌ها، شرکت‌ها، ارائه‌دهندگان، APIها، پلن‌ها، مقالات و اخبار.

آموزش و تنظیم

پیش‌آموزش

Pre-training

پیش‌آموزش

مرحله‌ی پرهزینه اولیه که مدل روی حجم عظیمی از متن عمومی آموزش می‌بیند و «زبان و دانش عمومی» را یاد می‌گیرد؛ بعد از آن مدل هنوز متخصص هیچ کاری نیست.

پیش‌آموزش مرحله‌ی سنگین و پرهزینه‌ی ساخت یک LLM است: مدل روی تریلیون‌ها توکن متن عمومی (وب، کتاب، کد) آموزش می‌بیند تا ساختار زبان و دانش عمومی را در پارامترهایش جذب کند. خروجی‌اش یک «عمومیِ خام» است: باهوش اما بدون تخصص و گاهی بی‌ادب.

هزینه‌ی همین مرحله، دلیل اصلی تمرکز صنعت روی مدل‌های باز و تقطیر است: ساخت یک مدل مرزی میلیون‌ها دلار GPU است، پس هر بار آموزش مجدد منطقی نیست — باید از چیزی که ساخته شده دوباره استفاده کرد.

نکته‌ی کلیدی: پیش‌آموزش «قابلیت» می‌سازد، نه «شخصیت». تبدیل همان قابلیت به دستیار مفید کار مرحله‌های بعد است: fine-tuning و RLHF.

بازگشت به واژه‌نامه