当前位置: 首页 > article >正文

GRU神经网络理解

全文参考以下B站视频及《神经网络与深度学习》邱锡鹏,侧重对GPU模型的理解,初学者入门自用记录,有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本,大白话讲解_哔哩哔哩_bilibili

更新门、重置门、学习与输出

注:一般来说,x_t 是在时间步 t 上的数值特征集合,比如股价预测模型中,x_t 是t时刻股价

这里为了理解,假设h_{t-1}是已有课程的学习笔记,x_t表明我们要学习机器学习这一课程

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

x_t = 【机器学习】

1.重置门:控制筛选,判断哪些是对于机器学习有用的笔记,参与本轮学习

高数、线代、概率论、Python编程与机器学习相关性较强,而音乐欣赏与之无关

r_t = 【0.5,0.9,0.6,0,1.0】,这个向量表示对机器学习的有用程度,之后与h_{t-1}相乘进行筛选

2.更新门:哪些内容是有用的需要保留到未来

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程

z_t = 【1,1,1,0,1】

我的理解(不知道对不对):重置门和更新门的计算方式类似,但神经网络训练参数不同。用处也不同,重置门用于参与本轮的学习,更新门用于判断哪些信息需要保留到未来。

3.学习

(1)r_th_{t-1}对应相乘,即

r_t = 【0.5,0.9,0.6,0,1.0】

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

r_t \cdot h_{t-1} = 【0.5高数,0.9线代,0.6概率论,0,Python编程】

(2)加入x_t,即

【0.5高数,0.9线代,0.6概率论,机器学习,Python编程】

(3)tanh相当于对以上笔记进行学习,学习的结果笔记用h_{t}^{'}表示

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

4.输出

对于学习后的结果与之前的笔记具有重复性,所以需要删除重复内容。删除的依据就是1-z_t,即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。

h_{t-1}=【高数,线代,概率论,音乐欣赏,Python编程】

z_t = 【1,1,1,0,1】

h_{t-1}\cdot z_t = 【高数,线代,概率论,0,Python编程】

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

1-z_t = 【0,0,0,1,0】

h_{t}^{'} \cdot (1-z_t) =  【0,0,0,决策树,0】

向量拼接

最终结果h_{t}=【高数,线代,概率论,决策树,Python】


http://www.kler.cn/news/362581.html

相关文章:

  • 世界前沿思想升命学说:鼠、牛、虎、兔、龙、蛇、马、羊、猴、鸡、狗、猪
  • 2024 睿抗机器人开发者大赛(RAICOM)-【网络安全】CTF 部分WP
  • OpenCV的常用与形状形状描述相关函数及用法示例
  • SQL 自学:游标(Cursors)的理解与应用
  • docker环境安装mongoDB实现平滑迁移实战
  • SpringBoot实现的汽车票在线预订系统
  • LabVIEW提高开发效率技巧----插入式架构
  • 力扣 简单 70.爬楼梯
  • 1024是什么日子
  • 数据结构《顺序表》
  • 通过微信小程序实现对接企业微信客服
  • 【Java Script引擎有哪些】
  • JavaWeb合集11-Maven高级
  • MySQL 的意向锁(Intention Locks)原理详解
  • Flink 状态精准一次性特性
  • 线性可分支持向量机的原理推导【补充知识部分】9-10最大化函数max α,β L(x,α,β)关于x的函数 公式解析
  • C++——NetWork
  • Mac 使用 zsh 终端提示 zsh: killed 的问题
  • 微信小程序设置弹框底下内容不能移动 滚动(滚动穿透问题)
  • 【鼠鼠学AI代码合集#8】线性神经网络
  • Vue封装组件并发布到npm仓库
  • 【ROS2】Qt和ROS混合编程:多继承QObject和rclcpp::Node
  • LRU算法
  • ATmega128定时器里面的定时器和外部中断配置
  • ElasticSearch基本概念
  • 微软主动出击,“钓”出网络钓鱼者