当前位置: 首页 > article >正文

B站吴恩达机器学习笔记

机器学习视频地址:

4.5 线性回归中的梯度下降_哔哩哔哩_bilibili

损失函数学习地址:

损失函数选择

选凸函数的话,会收敛到全局最小值。证明凸函数用Hessian矩阵。凸函数定义:两点连线比线上所有点都大。

batch理解:

  • 在机器学习中,指的是用于一次模型更新的所有样本的集合。当使用批处理进行训练时,每次更新模型参数是基于整个批处理内的所有样本计算得到的梯度。
  • batch设置为2的话,数据集6张图片,第一次1 2第二次3 4第三次5 6

梯度下降法学习地址:

numpy学习地址:

Python之Numpy详细教程_python numpy-CSDN博客

numpy常用函数:


np.array([1,2,3])

np.array(
[1,2],
[2,3],
[3,4])
//reshape(-1, 1) 是一种便捷的方式来将任何一维数组转换为列向量,其中 -1 告诉 NumPy 自动计算合适的尺寸以匹配另一维度的大小(在这里是指定的 1)
//reshape(-1, x)可以理解为得到(?,x)的数组
np.array([1, 2, 3]).reshape(-1, 1)
//做点积操作
np.dot(w,x)

特征归一化处理:

归一化方法学习地址:

Min-Max 归一化:通过线性变换将数据映射到[0, 1]区间内。

Z-score 标准化(Standardization):这种方法将原始数据转换为均值为0、标准差为1的数据分布,即标准正态分布。

L2 正则化(也称为向量归一化):对于每个样本,将其特征向量除以其L2范数,使得每个样本的特征向量长度为1。这在文本分类等需要处理高维度稀疏数据的任务中非常有用。

Batch Normalization:不同于上述针对输入数据的归一化方法,Batch Normalization是在神经网络内部使用的一种技术,通常应用于隐藏层的输出上。它通过对每一批次的小批量数据进行归一化,保持输入到每一层的分布稳定,从而加速训练过程,并允许使用更高的学习率。

Layer Normalization:与Batch Normalization不同,Layer Normalization是基于单个训练样本而不是批次来计算均值和方差,因此不受批次大小的影响,特别适合于循环神经网络(RNN)或需要在线学习的场景。

梯度下降中如何选择\alpha

正常情况下会是这样,如果误差越来越大说明学习率大了。

停止条件:

1.看图达到最小。2.判断收敛(数分那种收敛判定)。

如何选择:

这两种说明学习率太大或者程序有bug。

常用技巧就是将学习率设置的很小。

通常来说:0.001 0.003  0.01 0.03  0.1  0.3 1 ...经常尝试扩大三倍取值。


http://www.kler.cn/a/526425.html

相关文章:

  • 01. 计算机系统
  • unity学习22:Application类其他功能
  • 模型I/O
  • 【NEXT】网络编程——上传文件(不限于jpg/png/pdf/txt/doc等),或请求参数值是file类型时,调用在线服务接口
  • [Java]泛型(一)泛型类
  • 哈希表实现
  • C++11之列表初始化
  • 不够专业,想更体系化
  • 【视频+图文详解】HTML基础4-html标签的基本使用
  • 2025美赛复盘总结反思(论文手)
  • 第27篇:Python开发进阶:python多线程与多进程编程
  • [LeetCode]day 5 209.长度最小的子数组
  • EWM 变更库存类型
  • Leetcode 3434. Maximum Frequency After Subarray Operation
  • 剑指 Offer II 012. 左右两边子数组的和相等
  • C++初阶 -- 泛型编程(函数模板、类模板)入门
  • Brave132 编译指南 Windows 篇:安装 Visual Studio 2022(二)
  • QT串口通信,实现单个温湿度传感器数据的采集
  • 【初识C语言】作业讲解15课
  • MATLAB语言的测试开发
  • sem_wait的概念和使用案列
  • STM32项目分享:智能温室大棚(APP版)
  • C++ 3
  • ollama指定目录安装
  • 使用Navicat Premium管理数据库时,如何关闭事务默认自动提交功能?
  • openeuler 22.03 lts sp4 使用 cri-o 和 静态 pod 的方式部署 k8s-v1.32.0 高可用集群