当前位置： 首页 > article >正文

【期中复习】深度学习

article 2024/11/14 22:41:57

文章目录

    • 机器（深度）学习的四大核心要素
    • 为什么深度学习，不增加网络宽度
    • 黑盒模型的问题
    • 计算图
    • 线性神经网络
    • 梯度下降
    • 学习率
    • 优化方法
    • softmax函数用于多分类
    • 交叉熵
    • 线性回归与softmax回归的对比
    • 为什么需要非线性激活函数
    • 感知机
    • 线性回归、softmax回归、感知机和支持向量机的比较
    • sigmoid激活函数
    • 双曲正切（tanh）激活函数
    • 线性（ReLU）修正函数
    • MLP
    • K折交叉验证
    • 估计模型的复杂度
    • 数据复杂度
    • 欠拟合和过拟合
    • 欠拟合和过拟合的原因
    • 正则化
    • Dropout
    • 梯度爆炸和梯度消失
    • 权重初始化
    • 参数初始化

机器（深度）学习的四大核心要素

数据、模型、性能度量（目标函数）、优化方法

为什么深度学习，不增加网络宽度

  • 增加深度使得学习高层次、抽象特征成为可能
  • 相比于增加宽度，增加深度的学习效率更高。比如对于一些要学习的多项式函数，浅层网络需要指数增长的神经元个数，其拟合效果才能匹配上多项式增长的深层网络
    宽度的优点：增加宽度会增加模型的记忆能力

黑盒模型的问题

数据安全隐患、输出不可信、模型改进局限、模型应用局限

计算图

在这里插入图片描述

线性神经网络

  • 模型
    在这里插入图片描述

  • 性能度量
    在这里插入图片描述

  • 优化方法
    在这里插入图片描述

梯度下降

在这里插入图片描述

学习率

在这里插入图片描述

优化方法

在这里插入图片描述

softmax函数用于多分类

在这里插入图片描述

  • 可用：量化样本间的相对大小(等比例缩放不变)
  • 概率：每个样本取值范围[0,1],总和等于1
  • 可训练：可微分

交叉熵

在这里插入图片描述

线性回归与softmax回归的对比

在这里插入图片描述

为什么需要非线性激活函数

在这里插入图片描述
因为是线性的，神经网络虽然引入了隐藏层，却依然等价于一个单层神经网络

感知机

在这里插入图片描述
在这里插入图片描述

线性回归、softmax回归、感知机和支持向量机的比较

在这里插入图片描述

sigmoid激活函数

在这里插入图片描述

  • 优点
    （0-1），平滑、多标签分类
  • 缺点
    梯度消失、更新效率低

双曲正切（tanh）激活函数

在这里插入图片描述

  • 优点
    （-1，1），平滑，更新效率高
  • 缺点
    梯度消失

线性（ReLU）修正函数

在这里插入图片描述
在这里插入图片描述

MLP

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

K折交叉验证

在这里插入图片描述
在这里插入图片描述

估计模型的复杂度

在这里插入图片描述

数据复杂度

在这里插入图片描述

欠拟合和过拟合

在这里插入图片描述

欠拟合和过拟合的原因

在这里插入图片描述

正则化

在这里插入图片描述

Dropout

在这里插入图片描述

梯度爆炸和梯度消失

在这里插入图片描述

在这里插入图片描述

权重初始化

在这里插入图片描述

参数初始化

在这里插入图片描述

在这里插入图片描述


http://www.kler.cn/a/107199.html

相关文章：

  • JFROG相关API
  • 继承和多态(上)
  • 【图像压缩感知】论文阅读：Self-supervised Scalable Deep Compressed Sensing
  • 什么是数字图像？
  • 【ChatGPT】 如何让ChatGPT分析数据并得出结论
  • [CKS] K8S ServiceAccount Set Up
  • Games 103 作业二
  • 10款轻量型的嵌入式GUI库分享
  • C++前缀和算法的应用：使数组相等的最小开销
  • 基于Python Django 的微博舆论、微博情感分析可视化系统（V2.0）
  • 如何快速安装MONAI(莫奈)医学标注软件
  • Xray的简单使用
  • Spring 更简单的读取和存储对象
  • docker - window Docker Desktop升级
  • redis集群的多key原子性操作如何实现？
  • Oracle RU 19.21及 datapatch -sanity_checks
  • js中HTMLCollection如何循环
  • 基于springboot实现校园志愿者管理系统项目【项目源码+论文说明】计算机毕业设计
  • 【ARMv8 SIMD和浮点指令编程】NEON 存储指令——如何将数据从寄存器存储到内存？
  • 系列二十二、如何在Spring中所有的bean都创建完成后做扩展
  • MySQL篇---第四篇
  • 论文阅读——InstructGPT
  • 数据库MySQL（四）：表中字段约束和外键约束
  • 磁场设备主要有哪些
  • DBA笔记（1）
  • 云服务器搭建Zookeeper集群