یادگیری عمیق زیرمجموعهی یادگیری ماشین با شبکههای عصبی چندلایه (عمیق) است. هر لایه نمایش انتزاعیتری میسازد: در تصویر از لبه به شکل و بعد به شیء؛ در متن از نویسه به کلمه و بعد به معنا.
جهش واقعی ۲۰۱۲ به بعد رقم خورد: با GPUهای قدرتمند و دادهی بزرگ، شبکههای عمیق در تشخیص تصویر و گفتار از روشهای دستی سبقت گرفتند و بستر معماری ترنسفورمر و مدلهای زبانی امروز را ساختند.
قیمت این کار: گرسنگی داده و محاسبه. مدلهای عمیق به میلیونها نمونه و روزها آموزش روی خوشهی GPU نیاز دارند — همین هزینه، بعدها به انگیزهی تقطیر، کوانتیزاسیون و مدلهای کوچک تبدیل شد.
