机器学习《西瓜书》学习笔记《待续》

如果说，计算机科学是研究关于“算法”的学问，那么机器学习就是研究关于“学习算法”的学问。

绪论

引言

为什么我们通过色泽青绿，根蒂蜷缩，敲声捉响就能判断是好瓜？

因为我们吃过、看过很多西瓜，所以基于色泽、根蒂、敲声这几个特征我们就可以做出相当好的判断。类似的，我们从以往的学习经验知道，下足了功夫、弄清了概念、做好了作业，自然会取得好成绩。

可以看出，我们能做出有效的判断，是因为我们已经积累了许多经验，而通过对已有经验的利用，就能对新的情况做出有效的决策！！

上面对经验的利用是靠我们人类自身完成的，计算机能帮忙吗？

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此，机器学习所研究的主要内容是关于在计算机上从数据中产生“模型(model)”的算法，即“学习算法”（learningalgorithm）。有了学习算法，我们把经验数据提供给它，它就能基于这些算法产生模型，在面对新的情况时，模型会给我们提供相应的判断。如果说，计算机科学是研究关于“算法”的学问，那么机器学习就是研究关于“学习算法”的学问。

基本术语

要进行机器学习，先要有数据，假定我们收集的的一批关于西瓜的数据，例如：

每行数据都是一条记录，这组记录的集合称为一个“数据集(dataset)”，每条记录是关于一个事件或对象（这里是西瓜对象instance）的描述，成为一个“实例（instance）”或“样本（sample）”。

反应事件或对象在某方面的表现或性质的项，如“色泽”，“根蒂”，“敲声”，称为“属性（attribute）”或“特征（feature）”。属性的取值，如“青绿”，“乌黑”，称为”属性值（attribute value）“。

属性张成的空间称为”属性空间（attribute space）“、”样本空间（sample space）“或”输入空间（input space）”。

例如，把“色泽”，“根蒂”，“敲声”作为三个坐标轴，则它们的张成一个用于描述西瓜的三维空间，每个西瓜都可以在这个空间中找到自己的坐标位置。由于空间中的每个点对应一个坐标向量，因此也把一个instance称为一个“特征向量（feature vector)”

一般地，令 D = {x1, x2, … , xm} 表示包含 m 个示例的数据集，每个instance由 d 个属性描述(例如上面的西瓜数据使用了 3 个属性)，则每个实例xi = (xi1; xi2; … ; xid) 是 d 维样本空间 X 中的一个向量，xi∈X，其中 xij 是
xi在第j个属性上的取值(例如上述第 3 个西瓜在第 2 个属性上的值是"硬挺" ) , d 称为样本xi的"维数(dimensionality)。

从数据中学得模型的过程称为"学习"(learning)或"训练"(training), 这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为"训练数据" (training data), 其中每个样本称为一个"训练样本" (training sample), 训练样本组成的集合称为"训练集"(training set).

扩展

向量的张成-span

使用Markdown语法编写数学公式

Markdown语法编写数学公式和LaTex有异曲同工之妙。（LaTex入门，LaTex公式手册）

在Markdown中编写数学公式通常使用LaTeX语法。对于渲染数学公式的Markdown编辑器（如GitHub、Jupyter Notebook、MathJax支持的环境等），可以使用以下两种方式编写数学公式：

在Markdown中编写数学公式通常使用LaTeX语法。对于渲染数学公式的Markdown编辑器（如GitHub、Jupyter Notebook、MathJax支持的环境等），可以使用以下两种方式编写数学公式：

行内公式使用单个美元符号 $ 包裹 LaTeX 公式，表示行内公式：

这是行内公式，例如：$E = mc^2$

这是行内公式，例如：$E=m{c}^2$

块级公式使用双美元符号 $$ 包裹 LaTeX 公式，表示块级公式（独立成行）：

这是块级公式：
$$
E = mc^2
$$

渲染后效果，这是块级公式：
$$E=m{c}^2$$

复杂的数学公式

贝叶斯定理：
$$
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
$$

渲染后效果：贝叶斯定理：
$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$$

常见数学符号：

• 分数：\frac{a}{b}
• 幂：a^b
• 下标：a_b
• 求和：\sum
• 积分：\int

注意事项：

• 并不是所有的Markdown编辑器都支持数学公式渲染，你可以检查是否支持MathJax或者KaTeX。
• GitHub Markdown 不直接支持数学公式，需要额外的插件或工具。

希腊字母的LaTex语法

插入一些数学的结构

插入定界符

将上述定界符与\left和right组合使用可以使得定界符匹配其内容的高度，比如要构建一个如下的矩阵的行列式：

$$
 \left|\begin{matrix}
    a & b & c \\
    d & e & f \\
    g & h & i
   \end{matrix} \right|
 $$

显示效果如下:

$$\left|\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right|$$

插入一些可变大小的符号

插入一些函数名称

插入二进制运算符和关系运算符

插入箭头符号

上下标

可以使用^来输出上标，使用_来输出下标，使用{}包含作用范围。

 $$
 \sin^2(\theta) + \cos^2(\theta) = 1
 $$
 
 $$
 \sum_{n=1}^\infty k
 $$
 
 $$
 \int_a^bf(x)\,dx
 $$
 
 $$
 \lim\limits_{x\to\infty}\exp(-x) = 0
 $$

$${\sin }^2(\theta )+{\cos }^2(\theta )=1$$

$$\sum _{n=1}^{\infty }k$$

$${\int }_a^{b}f(x)dx$$

$$\underset{x\to \infty }{\lim }\exp (-x)=0$$

输出矩阵

矩阵中的各元素通过用$来分隔，\来换行。

 $$
 \begin{matrix}
 0&1&2\\
 3&4&5\\
 6&7&8\\
 \end{matrix}
 $$

$$\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\\ 6& 7& 8\end{array}$$

输出分段函数

用\begin{cases}和\end{cases}来构造分段函数，中间则用\来分段:

 $$
 f(x) = 
 \begin{cases}
 2x,\,\,x>0\\
 3x,\,\,x\le0\\
 \end{cases}
 $$

$$f(x)=\{\begin{array}{l}2x,x>0\\ 3x,x\le 0\end{array}$$

字体

$\mathbf{ABCDEFGHIJKLMNOPQRSTUVWXYZabc123}$

$ABCDEFGHIJKLMNOPQRSTUVWXYZabc123$

 $\mathcal{ABCDEFGHIJKLMNOPQRSTUVWXYZabc123}$

$\mathcal{A}\mathcal{BC}\mathcal{D}\mathcal{EFGH}\mathcal{I}\mathcal{J}\mathcal{K}\mathcal{LM}\mathcal{N}\mathcal{O}\mathcal{P}\mathcal{Q}\mathcal{R}\mathcal{S}\mathcal{T}\mathcal{U}\mathcal{V}\mathcal{W}\mathcal{X}\mathcal{Y}\mathcal{Z}abc123$

 $\mathfrak{ABCDEFGHIJKLMNOPQRSTUVWXYZabc123}$

$ABCDEFGHIJKLMNOPQRSTUVWXYZabc123$

$\mathsf{ABCDEFGHIJKLMNOPQRSTUVWXYZabc123}$

$ABCDEFGHIJKLMNOPQRSTUVWXYZabc123$

 $\mathbb{ABCDEFGHIJKLMNOPQRSTUVWXYZabc123}$

$\mathbb{ABCDEFGHIJKLMNOPQRSTUVWXYZ}abc123$