Datawhale X 李宏毅苹果书 AI夏令营 入门 Task3-机器学习框架
目录
- 实践方法论
- 1.模型偏差
- 2.优化问题
- 3.过拟合
- 4.交叉验证
- 5.不匹配
实践方法论
1.模型偏差
当一个模型由于其结构的限制，无法捕捉数据中的真实关系时，即使找到了最优的参数，模型的损失依然较高。可以通过增加输入特征、使用更复杂的模型结构或采用深度学习等方法来新设计模型，增加模型的灵活性。
2.优化问题
在机器学习模型训练过程中，即使模型的灵活性足够高，也可能由于优化算法的问题导致训练数据的损失不够低。为了判断是模型偏差还是优化问题，建议通过比较不同复杂度的模型来进行诊断。先尝试简单的模型或非深度学习方法，然后根据这些模型的性能来判断是否需要更复杂的模型或更强大的优化策略。
3.过拟合
过拟合部分讨论了机器学习模型在训练数据上表现良好，但在未见过的新数据或测试数据上表现较差的问题。这种情况通常发生在模型过度适应训练数据的独特特征，而未能学习到数据中真正的、更一般的模式。过拟合是模型泛化能力弱的表现，即模型不能很好地处理新的情况或数据。为了解决过拟合问题，文本提出了几种策略：增加训练数据、数据增强、给模型增加限制、选择合适的模型复杂度。
4.交叉验证
交叉验证部分讲述了使用交叉验证来评估和选择模型，以提高机器学习模型的泛化能力。交叉验证是一种评估统计模型性能的技术，它将数据集分成多个子集，轮流使用其中一个子集作为测试集，其余子集作为训练集，重复此过程多次，每次选择不同的子集作为测试集。这种方法可以更全面地估计模型在未知数据上的性能，因为每个数据点都有一次作为测试数据的机会。
5.不匹配
当机器学习模型的训练数据和测试数据的分布不一致时，可能导致模型性能下降的问题。这种不匹配可能由于多种原因发生，比如测试环境中的数据与训练数据来自不同的来源，或者在时间上有显著的差异。为了解决不匹配问题，需要对数据的来源和采集方式有深入的理解。可能需要通过数据预处理或选择与测试数据分布更为一致的训练数据来减少不匹配问题的影响。