Hacker News 热门· E-Reverance·· 17 小时前AI 评分64
Q Labs 提出 Dust：无需反向传播预训练 Transformer
Dust: Pretraining Transformers Without Backpropagation
AI 导读
Q Labs 发布研究 Dust，一种扰动激活的零阶优化方法，首次在 Transformer 语言模型预训练中与反向传播相当，在大规模种群下多个设置中甚至超过反向传播。
来源：Hacker News 热门 · qlabs.sh