深度学习是机器学习的子集,构建于深层(多层)神经网络之上。每一层都构建更抽象的表示:图像从边缘到形状再到物体;文本从字符到词语再到语义。真正的飞跃出现在 2012 年之后:借助强大的 GPU 与海量数据,深度网络在视觉与语音上超越了手工方法,并成为 Transformer 与当今语言模型的平台基础。代价是对数据与算力的饥渴:深度模型需要数百万样本与 GPU 集群数日的训练——这一成本后来催生了蒸馏、量化与小模型运动。