Training-free neural architecture search: A review
摘要
神经架构搜索 (NAS) 的目标是缩小深度神经网络 (DNN) 的神经架构和模型，调整神经架构以改善其最终结果，甚至加快整个训练过程。这样的改进使得在小型设备（例如物联网设备或无线传感器网络）上生成或安装 DNN 模型成为可能。由于大多数 NAS 算法都非常耗时，因此寻找降低其计算成本的方法已成为一个关键的研究问题。无需训练的方法（也称为零样本学习）提供了一种替代方法，可以在 NAS 过程中更有效地评估神经架构的好坏，方法是使用轻量级的评分函数代替一般的训练过程，以避免产生高昂的成本。本文首先简要讨论 DNN 和 NAS，然后简要回顾依赖模型和独立于模型的无需训练的评分函数。本文还将简要介绍在无需训练的 NAS 中广泛使用的搜索算法和基准。本文最后讨论了该研究课题的变化、潜力、未解决的问题和未来趋势。