多类特征（Multiple features）

缩放

均值归一化

在图中，${\mu }_1=600$ 是用来做均值归一化（mean normalization）的平均值。是数据集中所有房屋面积的平均值。

计算 ${\mu }_1$ 的方法：

1. 收集所有样本的房屋面积数据。假设有 $n$ 个样本，房屋面积分别为 $x_1,x_2,\dots ,x_n$。
2. 计算样本的总和：
   $\text{总和}=x_1+x_2+\cdots +x_n$
3. 计算平均值 ${\mu }_1$：
   $${\mu }_1=\frac{\text{总和}}{n}$$

${\mu }_1=600$ 是通过计算房屋面积的平均值得出的。这个值用于标准化每个样本的房屋面积，使其在进行机器学习或其他分析时更易处理。

先计算均值 ${\mu }_1$=600

$x_1$是 size in $fee{t}^2$
$x_2$是 bedrooms
$x_1=$ $\frac{x_1-{\mu }_1}{x_{max}-x_{min}}$

$x_{max}=2000,x_{min}=300$,${\mu }_1=600$

300<=$x_1$<=2000

$\frac{300-600}{2000-300}$ $\le$ $x_1$ $\le$ $\frac{2000-600}{2000-300}$

$\frac{-300}{1700}$ $\le$ $x_1$ $\le$ $\frac{1400}{1700}$

$-0.18$ $\le$ $x_1$ $\le$$0.82$
同理计算$x_2$

0$\le$$X_2$ $\le$ 5

-0.46$\le$$x_2$$\le$ 0.54

Z-score normalization（Z-分数归一化 / 标准化得分归一化）

Z-score normalization 可以翻译为 Z-分数归一化 或 标准化得分归一化。它是数据预处理中的一种标准化方法，用于将数据转换为均值为 0、标准差为 1 的标准正态分布。

介绍：

Z-score normalization 是一种通过减去数据的平均值（mean）并除以标准差（standard deviation）来对数据进行归一化的方法。这种方法有助于将不同尺度的数据转换到一个相同的尺度上，特别是在特征具有不同量纲时很有用。

公式：

对于给定的一个数据点 $x_i$，其 Z-score 归一化后的值 $z_i$ 计算公式为：
$z_i=\frac{x_i-\mu }{\sigma }$
其中：

• $\mu$ 是所有数据的平均值（mean）。
• $\sigma$ 是所有数据的标准差（standard deviation）。

优点：

• 在特征值存在不同量纲或单位时，Z-score normalization 有助于统一尺度，使得算法（如梯度下降）能更有效地收敛。
• 特别适用于数据近似服从正态分布的情况。

示例：

假设我们有一个数据点 $x=70$，数据的平均值 $\mu =50$，标准差 $\sigma =10$。使用 Z-score normalization，我们可以计算出：
$z=\frac{70-50}{10}=2$
这个归一化后的值 2 表示数据点 70 相对于均值 50，距离标准差的 2 倍。

这种归一化方式在许多机器学习算法中都很常用，特别是在需要统一数据尺度的情况下，如支持向量机（SVM）、k-最近邻（KNN）等。

${\mu }_1$ 和 ${\sigma }_1$ 分别是数据的均值和标准差。

1. 均值（${\mu }_1$）的计算：

均值 ${\mu }_1$ 是所有样本值的平均值，其计算公式为：
${\mu }_1=\frac{1}{n}{\sum }_{i=1}^n{x}_i$
其中：

• $n$ 是样本的数量。
• $x_i$ 是每个样本值。

计算步骤：

• 将所有的样本值相加。
• 将总和除以样本数量 $n$。

示例：

假设有 5 个样本值：300, 400, 600, 800, 2000。均值的计算如下：
${\mu }_1=\frac{300+400+600+800+2000}{5}=\frac{4100}{5}=820$

2. 标准差（${\sigma }_1$）的计算：

标准差 ${\sigma }_1$ 描述数据的离散程度，其计算公式为：
${\sigma }_1=\sqrt{\frac{1}{n}{\sum }_{i=1}^n(x_i-{\mu }_1{)}^2}$
其中：

• ${\mu }_1$ 是均值。
• $x_i$ 是每个样本值。
• $n$ 是样本的数量。

计算步骤：

• 对每个样本值 $x_i$ 减去均值 ${\mu }_1$，计算差值的平方。
• 将所有平方差值相加。
• 将总和除以样本数量 $n$。
• 最后对结果开平方根。

示例：

继续使用前面的样本值，假设 ${\mu }_1=820$，计算每个样本的平方差：
$(300-820{)}^2=270400$
$(400-820{)}^2=176400$
$(600-820{)}^2=48400$
$(800-820{)}^2=400$
$(2000-820{)}^2=1392400$
将它们相加：
$270400+176400+48400+400+1392400=1888000$
然后除以 5：
$\frac{1888000}{5}=377600$
最后开平方根：
${\sigma }_1=\sqrt{377600}\approx 614.5$

${\mu }_1=600$ 和 ${\sigma }_1=450$，说明使用了一组特定的数据来得出这些值。可以通过类似的计算方法得到这些结果。

图中最后的不等式表示 Z-score 归一化后的值的范围。让我们详细解释这些不等式是如何计算出来的。

1. 原始数据范围：

• 对于特征 $x_1$（房屋面积），原始范围是 $300\le x_1\le 2000$。
• 对于特征 $x_2$（卧室数量），原始范围是 $0\le x_2\le 5$。

2. Z-score 归一化公式：

Z-score 归一化的公式是：
$z=\frac{x-\mu }{\sigma }$
其中：

• $x$ 是原始数据点。
• $\mu$ 是均值。
• $\sigma$ 是标准差。
• $z$ 是归一化后的值。

3. 对于 $x_1$ 的归一化：

给定：

• 均值 ${\mu }_1=600$。
• 标准差 ${\sigma }_1=450$。
• 原始范围 $300\le x_1\le 2000$。

使用 Z-score 归一化公式：
$z_1=\frac{x_1-{\mu }_1}{{\sigma }_1}$
将边界代入公式：

• 对于 $x_1=300$：
  $z_1=\frac{300-600}{450}=\frac{-300}{450}=-0.67$
• 对于 $x_1=2000$：
  $z_1=\frac{2000-600}{450}=\frac{1400}{450}\approx 3.1$
  所以，归一化后的 $x_1$ 范围是 $-0.67\le z_1\le 3.1$。

4. 对于 $x_2$ 的归一化：

给定：

• 均值 ${\mu }_2=2.3$。
• 标准差 ${\sigma }_2=1.4$。
• 原始范围 $0\le x_2\le 5$。

使用 Z-score 归一化公式：
$z_2=\frac{x_2-{\mu }_2}{{\sigma }_2}$
将边界代入公式：

• 对于 $x_2=0$：
  $ z_2 = \frac{0 - 2.3}{1.4} = \frac{-2.3}{1.4} \approx -1.6$
• 对于 $x_2=5$：
  $ z_2 = \frac{5 - 2.3}{1.4} = \frac{2.7}{1.4} \approx 1.9$
  所以，归一化后的 $x_2$ 范围是 $-1.6\le z_2\le 1.9$。

总结：

归一化后的不等式范围是通过将原始数据的最小值和最大值代入 Z-score 归一化公式计算出来的。这种方法将数据标准化，使得每个特征的归一化后数据范围与标准正态分布的范围相一致。

检查梯度下降是否收敛

选择学习率

常用希腊字母的 LaTeX 命令

在 Overleaf（或 LaTeX 文档）中，可以使用命令输入希腊字母。以下是一些常用希腊字母的 LaTeX 命令：

小写希腊字母：

• \alpha : α
• \beta : β
• \gamma : γ
• \delta : δ
• \epsilon : ε
• \zeta : ζ
• \eta : η
• \theta : θ
• \iota : ι
• \kappa : κ
• \lambda : λ
• \mu : μ
• \nu : ν
• \xi : ξ
• \pi : π
• \rho : ρ
• \sigma : σ
• \tau : τ
• \upsilon : υ
• \phi : φ
• \chi : χ
• \psi : ψ
• \omega : ω

大写希腊字母：

• \Gamma : Γ
• \Delta : Δ
• \Theta : Θ
• \Lambda : Λ
• \Xi : Ξ
• \Pi : Π
• \Sigma : Σ
• \Upsilon : Υ
• \Phi : Φ
• \Psi : Ψ
• \Omega : Ω

只需在文档中使用这些命令，希腊字母就会正确显示。例如，输入 \alpha 会显示为 α。

你可以将这些命令用于数学模式，例如在 $...$ 或 \[...\] 环境中。