机器学习之超参数优化（Hyperparameter Optimization）
超参数优化（Hyperparameter Optimization）
1. 简介
在机器学习和深度学习中，超参数（Hyperparameters） 是在训练之前需要设定的参数，例如学习率（learning rate）、批量大小（batch size）、神经网络的层数等。与训练过程中自动学习的模型参数（如权重和偏置）不同，超参数的选择对模型的最终性能至关重要。
超参数优化（Hyperparameter Optimization, HPO） 的目标是自动搜索最优的超参数组合，使模型在验证集或测试集上获得最佳的性能。合理的超参数选择可以有效提升模型的泛化能力，避免欠拟合或过拟合。
2. 原理
超参数优化涉及三个关键方面：
- 搜索空间（Search Space）：定义所有可能的超参数值范围，例如学习率在
[0.001, 0.1]之间变化。 - 搜索策略&#x