机器学习笔记（一）初识机器学习
1.定义
机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。
机器学习有下面几种定义：
（1）机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
（2）机器学习是对能通过经验自动改进的计算机算法的研究。
（3）机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。
简要概念：让机器具备找一个函式的能力
2.机器学习的三种不同任务
1. Regression（回归分析）
定义：回归分析是研究自变量与因变量之间数量变化关系的一种分析方法。它主要是通过因变量Y与影响它的自变量X（可以是一个或多个）之间的回归模型，衡量自变量X对因变量Y的影响能力，进而可以用来预测因变量Y的发展趋势。
特点：
- 预测目标是一个连续值。
- 损失函数（如均方误差MSE）用于衡量预测值与真实值之间的差异。
- 常见的回归模型包括线性回归、多项式回归等。
应用：
- 预测房价、股票价格等连续数值。
- 在语音识别中预测声音信号的连续特征。
理解：找一个函式的任务
2. Classification（分类）
定义：分类是找一个函数判断输入数据所属的类别。这可以是二类别问题（是/不是），也可以是多类别问题（在多个类别中判断输入数据具体属于哪一个类别）。
特点：
- 预测目标是离散值，即类别标签。
- 损失函数（如交叉熵损失）用于衡量预测类别与实际类别之间的差异。
- 常见的分类算法包括逻辑回归、决策树、支持向量机（SVM）、神经网络等。
应用：
- 邮件分类（垃圾邮件/非垃圾邮件）。
- 人脸识别、语音识别等。
理解：从设定好的选项中选择一个输出的任务
3. Structured Learning（结构化学习）
定义：结构化学习是一种让机器学会从数据中提取结构化信息的强大技术。它能够将输入数据与输出数据之间的结构关系建模，并通过训练模型来学习这种关系，从而实现对新的输入数据进行预测。
特点：
- 输入和输出都是具有结构化的对象（如序列、树、图等）。
- 需要考虑输入与输出之间的复杂结构关系。
- 常见的结构化学习方法包括条件随机场（CRF）、结构化感知机（Structured Perceptron）等。
应用：
- 自然语言处理中的命名实体识别、句法分析。
- 计算机视觉中的图像分割、目标跟踪。
理解：让机器可以创造
3.机器如何找函式（Linear Models）
1.找未知的函式
y是已知的，b，w是未知的
2.定义Loss
是一个关于b,w的函式，可记作L(b,w)，用来记录预期与实际值的差值平均数
取绝对值计算e的方式叫做MAE，除了这种方式还有如下方式：
Loss值越大及正确率越低，反之越高
3.找未知函数的最佳值
如下这张图是对不同w值和相同b值下Loss的变化曲线
通过观察斜率调整w的值找到函数最佳值，此外w调整的大小不仅仅受斜率大小的影响还受learning rate的影响，learning rate（hyperparameters）是预设的参数。当Loss值最低时即为最佳值。
当然变值一般有多个，此时遇上的不同在于斜率已不能作为观测值，通过微分参数作为观测值。
提升准确值：
通过对有规律周期的多组数据的w和x进行平均值求取提高准确率。
4.突破Linear Models限制
蓝色曲线作为linear models不能模拟实际的情况需要通过多个函式分段模拟，如下：
当然实际情况可能是曲线，这需要通过更多的分段来进行逼近
这种折线可通过一种曲线函数更好的表示，这种曲线叫做Sigmoid Function即s型的曲线
调整不同参数可将曲线进行不同方式的调整，如下：
通过以上知识，红色曲线可通过如下进行表示：
提升模型的准确性
公式的矩阵表示：
