#数据/训练

Q Labs 提出 Dust：无需反向传播预训练 Transformer

Q Labs 发布研究 Dust，一种扰动激活的零阶优化方法，首次在 Transformer 语言模型预训练中与反向传播相当，在大规模种群下多个设置中甚至超过反向传播。