当前位置: 首页 > article >正文

【漫话机器学习系列】100.L2 范数(L2 Norm,欧几里得范数)

L2 范数(欧几里得范数)详解

1. 什么是 L2 范数?

L2 范数(L2 Norm),也称为欧几里得范数(Euclidean Norm),是数学中最常见的向量范数之一。它用于衡量向量的长度或大小,计算方式是向量各个元素的平方和再开平方。L2 范数的数学表达式如下:

\|x\|_2 = \sqrt{x_1^2 + x_2^2 + \dots + x_n^2}

其中:

  • x = (x_1, x_2, ..., x_n) 表示一个 n 维向量;
  • x_i^2​ 表示向量各个元素的平方;
  • 取平方和后再开平方,即得到 L2 范数的值。

L2 范数的本质是计算向量在 n 维空间中的欧几里得距离,即该向量与原点之间的距离。这与我们在二维或三维空间中计算两点之间的直线距离方式相同。


2. L2 范数的几何意义

L2 范数的几何意义可以通过以下几点理解:

2.1 欧几里得距离

在二维或三维空间中,L2 范数对应的距离计算公式是我们熟悉的欧几里得距离公式

  • 二维空间: d = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2}
  • 三维空间: d = \sqrt{(x_2 - x_1)^2 + (y_2 - y_1)^2 + (z_2 - z_1)^2}

在更高维空间中,L2 范数仍然表示的是点与点之间的最短直线距离,因此 L2 范数的单位球是一个超球体(hypersphere)

2.2 L2 范数的单位球

在二维空间中,L2 范数等于 1 的所有点形成一个

x_1^2 + x_2^2 = 1

在三维空间中,L2 范数等于 1 的所有点形成一个

x_1^2 + x_2^2 + x_3^2 = 1

在更高维空间中,它形成一个超球体,而不是像 L1 范数那样形成菱形。


3. L2 范数的应用

3.1 在机器学习中的应用

L2 范数在机器学习中有多个重要应用,主要用于:

  1. 样本的标准化(Normalization)

    • 在数据预处理中,L2 范数用于将特征向量进行归一化,使其具有相同的尺度。例如,在自然语言处理(NLP)任务中,我们可能需要对词向量进行 L2 归一化:

      x_{\text{normalized}} = \frac{x}{\|x\|_2}

      这样可以确保不同词向量的长度一致,有助于提高计算稳定性。

  2. L2 正则化(Ridge Regression / 岭回归)

    • 线性回归等模型中,L2 正则化通过在损失函数中添加 L2 范数项,防止过拟合:

      L(w) = \sum (y_i - f(x_i))^2 + \lambda \sum w_i^2
    • 其中,λ 是正则化系数,w_i​ 是模型权重。

    • L2 正则化不会使权重变为 0,而是让它们趋向于较小的值,从而避免模型对某些特征过于依赖。

  3. 支持向量机(SVM)

    • 在 SVM(Support Vector Machine)中,优化目标是最大化分类间隔,即找到使得数据点到超平面的L2 范数最大的超平面,从而提高模型的泛化能力。
  4. 神经网络权重衰减(Weight Decay)

    • 在深度学习中,L2 正则化被称为权重衰减(Weight Decay),用于减少模型的复杂性,使其更加平滑,提高泛化能力。

3.2 在信号处理中的应用

L2 范数在信号处理和数据压缩中也有重要作用:

  1. 最小二乘法(Least Squares Method)

    • 最小二乘法是一种最优化方法,它的目标是最小化预测值和真实值之间的 L2 范数:

      \min_x \|Ax - b\|_2^2x

      这在统计回归分析和机器学习中都非常常见。

  2. 图像处理

    • 在图像处理任务中,L2 范数常用于衡量图像之间的相似性。例如,在图像去噪(Image Denoising)中,L2 范数用于度量去噪图像与原始图像之间的误差。

4. L2 范数 vs. L1 范数

L2 范数与 L1 范数(曼哈顿范数)在数学性质和应用场景上存在一些关键区别。

对比项L1 范数(L1 Norm)L2 范数(L2 Norm)
计算方式绝对值之和欧几里得距离(平方和开方)
几何形状菱形(diamond)圆形(circle)
适用场景特征选择(稀疏性)权重衰减(平滑性)
计算难度计算简单,非平滑计算复杂,但更稳定
过拟合控制会使部分特征权重变 0仅缩小特征权重,不会变 0

如何选择 L1 或 L2?

  • 如果你希望模型具有特征选择能力(自动忽略不重要的特征),使用 L1 正则化(Lasso)。
  • 如果你希望所有特征都有贡献,但影响较小,使用 L2 正则化(Ridge)。
  • 在数据稀疏性较强的情况下(如文本数据),L1 更有效。
  • 在模型需要平滑优化时,L2 更稳定,适用于深度学习和 SVM。

5. 结论

L2 范数是一种重要的数学工具,在机器学习、优化、信号处理等多个领域都有广泛应用。它的主要作用是衡量向量的长度,并在模型优化过程中用于正则化,防止过拟合。

核心总结:

  1. L2 范数计算的是向量的欧几里得长度,即平方和开平方。
  2. L2 范数的几何形状是圆,而 L1 范数的几何形状是菱形。
  3. L2 正则化(Ridge)可以防止模型过拟合,但不会使权重变为 0
  4. 在深度学习、SVM、线性回归、图像处理等领域,L2 范数被广泛使用
  5. 相比 L1 范数,L2 范数更适合平滑优化,而 L1 更适合特征选择。

L2 范数在机器学习和数学优化中的重要性不言而喻,希望本文能帮助你更好地理解 L2 范数的概念及其应用!


http://www.kler.cn/a/557843.html

相关文章:

  • .NET MVC实现电影票管理
  • 电商API安全防护:JWT令牌与XSS防御实战
  • android 快速定位当前页面
  • 设计模式之组合设计模式实战 文件展示 树叶子节点
  • chrome扩展程序如何实现国际化
  • springboot3.x整合fastdfs
  • Wireshark详解
  • cs106x-lecture14(Autumn 2017)-SPL实现
  • Python Matplotlib图形美化指南
  • C#DevExpress使用GridLookUpEdit实现订单明细选择商品
  • vue3 文件类型传Form Data数据格式给后端
  • 《[含文档+PPT+源码等]精品基于Python实现的Django中药材在线学习系统的设计与实现
  • 和平之翼代码生成器 SHCEU 版 4.0.0RC6 千年隼介绍二
  • 通过wifi无线方式,通过adb命令连接手机,用来传输文件和安装app
  • Open WebUI选择模型为空,解决办法(for DeepSeek)
  • Ubuntu 下 nginx-1.24.0 源码分析 - ngx_atoi 函数
  • 嵌入式之宏定义编程机制
  • 代码随想录算法训练营第十一天|150. 逆波兰表达式求值|239. 滑动窗口最大值|347.前 K 个高频元素
  • 在WPS中设置word的页码不从第一页开始,从指定页开始插入页码
  • Ops 详解:从 DevOps 到 SecOps,探索网络安全与运维的核心概念