机器学习相关知识概述
1.1 机器学习
定义一
机器学习:采用非显著式编程(不一步一步定义操作步骤的编程方式)的方式赋予计算机学习能力。
规定了行为和收益函数后,让计算机自己去找最大化收益函数的行为。
定义二
机器学习:一个计算机程序被称为可以学习,是指它能够针对某个任务T和某个性能指标P,从经验E中学习。这种学习的特点是,它在T上的被P所衡量的性能,会随着经验E的增加而提高。(较之定义一更数学化)
机器人冲咖啡的例子:
任务T: 设计程序让机器人冲咖啡
经验E:机器人多次尝试的行为和这些行为产生的结果
性能测度P:在规定时间内成功冲好咖啡的次数
据经验E来提高性能指标P的过程是典型的最优化问题
四个机器学习的任务
(1)教计算机下棋;
(2)垃圾邮件识别,教计算机自动识别某个邮件识别是垃圾邮件
(3)人脸识别,教计算机通过人脸的图像识别这个人是谁;
(4)无人驾驶,教计算机自动驾驶汽车从一个指定地点到另一个指定地点。
根据经验E,1和4是一类,2和3是一类
2和3是一类,因为经验E是完全由人搜集起来输人进计算机的,经验E = 训练样本和标签的集合,此类是监督学习
1和4是一类,因为经验E是由计算机与环境互动获得的,定义行为产生收益函数,让计算机改变自己的行为模式去最大化收益函数,此类是强化学习,计算机通过与环境的互动逐渐强化自己的行为模式。
1.2 机器学习分类
基于经验E的分类
- 监督学习(Supervised Learning):输入计算机训练数据同时加上标签的机器学习;所有的经验E都是人工采集并输入计算机的。
- 强化学习(Reinforcement Learning):让计算机通过与环境的互动逐渐强化自己的行为模式;经验E由计算机和环境互动获得的。(但划分方式也不绝对)
监督学习根据数据标签存在与否的分类
- 传统的监督学习(Traditional Supervised Learning):每个训练数据都有对应的标签;例如:支持向量机(Support Vector Machine)、人工神经网络(Neural Networks)、深度神经网络(Deep Neural Network)
- 非监督学习(Unsupervised Learning):训练数据没有对应标签;例如:聚类(Clustering)、EM算法(Expectation-Maximization algorithm)、主成分分析(Principle Components Analysis)
- 半监督学习(Semi-supervised Learning):一部分有标签、一部分没有标签。
基于标签固有属性的监督学习分类
- 分类(Classification):标签是离散的值;
- 回归(Regression):标签是连续的值。
1.3 机器学习算法的过程
- 观察数据,总结规律
- 特征提取(Feature Extraction):是指通过训练样本获得的对机器学习任务有帮助的多维度的特征数据。
- 特征选择(Feature Selection)
- 构建算法:划分不同的特征空间。
- 训练结果
1.4 没有免费午餐原理
No Free Lunch Theorem
任何一个预测函数,如果在一些训练样本上表现好,那么必然在另一些训练样本上表现不好,如果不对数据在特征空间的先验分布有一定的假设,那么表现好与表现不好的情况一样多。
机器学习的本质:有限的已知数据,复杂的高维特征空间中,预测未知的样本的属性和类别