当前位置: 首页 > article >正文

深度学习(三)-反向传播

反向传播算法

深度学习三巨头发表反向传播论文

https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf

正向传播网络

前一层的输出作为后一层的输入的逻辑结构,每一层神经元仅与下一层的神经元全连接,通过增加神经网络的层数虽然可为其提供更大的灵活性,让网络具有更强的表征能力,也就是说,能解决的问题更多,但随之而来的数量庞大的网络参数的训练,一直是制约多层神经网络发展的一个重要瓶颈。

反向传播

反向传播(Backpropagation algorithm)全称“误差反向传播”,是在深度神经网络中,根据输出层输出值,来反向调整隐藏层权重的一种方法。

为什么需要反向传播

• 为什么不直接使用梯度下降而使用反向传播方式更新权重呢?
• 梯度下降应用于有明确求导函数的情况,或者可以求出误差的情况(比如 线性回归),我们可以把它看做没有隐藏层的网络。但对于多个隐藏层的 神经网络,输出层可以直接求出误差来更新参数,但隐藏层的误差是不存 在的,因此不能对它直接应用梯度下降,而是先将误差反向传播至隐藏层, 然后再应用梯度下降。

反向传播计算

实例

 

 


http://www.kler.cn/news/293870.html

相关文章:

  • mac 安装brew并配置国内源
  • 前端框架介绍
  • 昆明理工大学MBA工商管理学费
  • 二、再识Django
  • 彩虹数字屏保时钟 芝麻时钟开启个性化的时代 屏保怎么能少它
  • 马来西亚参访团走进数字人企业世优科技,共鉴元宇宙数字创新成果
  • 【vue、UI】使用 Vue2 和 Element UI 封装 CSV 文件上传组件,实现csv回显
  • IIS中间件
  • Windows 11安装nvm教程
  • 【精选】文件摆渡系统:跨网文件传输的安全与效率之选
  • 全面掌握PythonJava分层自动化测试:从单元测试到安全检测的完整指南
  • element-plus表单项循环的得到的。并且一个项里面有多个子项需要校验。
  • git 学习的流水log
  • 如何在 Vue 项目中缓存字体文件以提高性能
  • 企业如何组建安全稳定的跨国通信网络?
  • apt怎样快速卸载Redis服务(怎么卸载redis)
  • C++学习笔记----6、内存管理(四)---- 通常的内存陷阱(1)
  • 使用Popup实现多样化气泡弹窗在HarmonyOS中的应用
  • Cortex-M3架构学习:存储器系统
  • vue3整合antv x6实现图编辑器快速入门
  • iOS 18beta/正式版升级办法分享
  • 《中国全屋智能行业发展现状与投资前景研究分析报告》
  • element-ui打包之后图标不显示,woff、ttf加载404
  • 手机如何切换网络IP地址:‌方法详解与操作指南‌
  • Github 2024-09-04 C开源项目日报 Top10
  • [pytorch] --- 神经网络的基本骨架-nn.Module的使用
  • 缩短单片机内的Flash的擦写时间
  • Django Admin后台从一个页面同时编辑多个模型
  • Matlab实现RPC算法
  • 遍历有向网格链路实现