【预备理论知识——1】深度学习：概率论概述

简单地说，机器学习就是做出预测。

概率论

掷骰子

1. 假设我们掷骰子，想知道看到1的几率有多大，而不是看到另一个数字。 如果骰子是公平的，那么所有六个结果{1,…, 6}都有相同的可能发生， 因此我们可以说 1 发生的概率为1/6。

2. 然而现实生活中，对于我们从工厂收到的真实骰子，我们需要检查它是否有瑕疵。 检查骰子的唯一方法是多次投掷并记录结果。 对于每个骰子，我们将观察到中{1,…, 6}的一个值。 对于每个值，一种自然的方法是将它出现的次数除以投掷的总次数， 即此事件（event）概率的估计值。

3. 大数定律（law of large numbers）告诉我们： 随着投掷次数的增加，这个估计值会越来越接近真实的潜在概率。经过500次实验，每个数出现概率接近真实概率1/6 。
   

概率论公理

1. 概率论的公理是由安德烈·柯尔莫哥洛夫（Andrey Kolmogorov）在20世纪30年代提出的，为概率论提供了一个坚实的数学基础。这些公理定义了概率空间和概率的基本概念。以下是概率论的三个基本公理：

   • 非负性：对于任何事件A ，其概率 P(A) 都是非负的，即：P(A)≥ 0

   • 归一性：样本空间（所有可能事件的集合）的概率为1，即： P(Ω) = 1 , 其中，Ω 是样本空间。

   • 可列可加性：如果事件 A~1~, A~2~, ...是两两互斥的（即对于任意的 i 不等于 j ， A_i 和 A_j 不能同时发生），那么这些事件的并集的概率是各个事件概率的和，即：
     

2. 这些公理为概率论提供了一个坚实的基础，使得我们可以定义更复杂的概率概念，如条件概率、独立性、贝叶斯定理等。

随机变量

1. 随机变量是概率论和统计学中的一个基本概念，它是一种将随机试验的结果映射到实数上的函数。随机变量使我们能够用数学方式描述和分析随机现象。随机变量几乎可以是任何数量，并且它可以在随机实验的一组可能性中取一个值。

2. 随机变量主要分为两种类型：

   • 离散随机变量：其可能的取值是有限的或可数无限的。例如，掷骰子的结果就是一个离散随机变量，因为它只能取1到6之间的整数值。

   • 连续随机变量：其可能的取值是无限且连续的。例如，测量人的身高就是一个连续随机变量，理论上可以取任何正值。

处理多个随机变量

1. 处理多个随机变量时，我们通常关心它们之间的相互关系以及如何联合描述这些变量的概率特性。
2. 举一个更复杂的例子：图像包含数百万像素，因此有数百万个随机变量。 在许多情况下，图像会附带一个标签（label），标识图像中的对象。 我们也可以将标签视为一个随机变量。 我们甚至可以将所有元数据视为随机变量，例如位置、时间、光圈、焦距、ISO、对焦距离和相机类型。 所有这些都是联合发生的随机变量。 当我们处理多个随机变量时，会有若干个变量是我们感兴趣的。

联合概率

1. 联合概率是描述两个或多个随机变量共同取特定值的概率的量度。它提供了这些变量之间关系的完整视图，包括它们是否独立以及它们之间如何相互依赖。
2. 定义：
   

条件概率

1. 条件概率是指在某个条件或事件已经发生的前提之下，另一个事件发生的概率。用数学语言来描述，如果事件
   A和事件B是两个随机事件，那么在事件B发生的条件下，事件A发生的概率记作P(A∣B)。
2. 公式：
   

贝叶斯定理

1. 贝叶斯定理（Bayes’ Theorem）是概率论中的一个重要定理，它提供了一种计算条件概率的方法，特别是在已知其他相关事件的概率时。贝叶斯定理在统计学、机器学习、数据科学、医学诊断等领域有广泛的应用。
2. 假设我们有事件A和事件B，贝叶斯定理描述了在事件B发生的条件下，事件A发生的概率，即P(A∣B)与在事件A发生的条件下，事件B发生的概率，即P(B∣A)之间的关系：
   

边际化

1. 边际化（Marginalization）是概率论和统计学中的一个重要概念，它涉及将多维随机变量的概率分布转化为较低维度的概率分布。具体来说，边缘化是指通过求和或积分的方式，将一个或多个变量从联合概率分布中去除，从而得到剩余变量的边缘概率分布。
2. 举例：假设我们有三个随机变量 A、B 和 C，它们的联合概率分布为 P(A,B,C)。如果我们想要找到变量 A和 B的边际概率分布，而忽略 C 的影响，我们可以通过对 C 的所有可能值进行求和来实现这一点：
   P(A,B)=∑~c~P(A,B,c)；这里的求和是对所有可能的 C 值进行的。

独立性

1. 在概率论和统计学中，独立性是一个基本概念，用来描述两个或多个事件或随机变量之间是否存在关联。如果两个事件或随机变量之间没有关联，即一个事件的发生不影响另一个事件发生的概率，那么它们就被称为是相互独立的。
2. 对于两个事件 A 和 B，如果它们满足以下条件，则称事件 A 和 B 是独立的。这意味着事件 A 和 B 同时发生的概率等于它们各自发生概率的乘积。
   

期望与方差

期望

1. 为了概括概率分布的关键特征，我们需要一些测量方法。 一个随机变量的期望（expectation，或平均值（average））是随机变量的加权平均值，它反映了随机变量的中心趋势。
2. 定义：
   

方差

1. 在许多情况下，我们希望衡量随机变量与其期望值的偏置。这可以通过方差来量化；方差是衡量随机变量分散程度的度量，它表示随机变量的值与其期望值之间的差异的平方的期望值。
2. 定义：
   
3. 标准差是方差的平方根，它与原始数据具有相同的单位，因此通常用来描述数据的离散程度：