当前位置： 首页 > article >正文

跟李沐学AI：长短期记忆网络LSTM

article 2025/1/20 23:50:38

输入们、遗忘门和输出门

LSTM引入输入门、忘记门和输出门

输入门计算公式为：\sigma(X_tW_{xi}+H_{t-1}W_{h1}+b_i)。

遗忘门计算公式为：\sigma(X_tW_{xf}+H_{t-1}W_{hf}+b_f)。

输出门计算公式为：\sigma(X_tW_{xo}+H_{t-1}W_{ho}+b_o)。

 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在(0,1)的范围内。

候选记忆元

类似RNN中的H_t，计算公式为：\widetilde{C_t}=tanh(X_tW_{xc}+H_{t-1}W_{hc}+b_c)。

记忆元

LSTM中，输入门和遗忘门类似GRU中控制输入或遗忘的机制。输入们用于控制采用多少来自\widetilde{C_t}的新数据，遗忘门用于控制保留多少过去的记忆元C_{t-1}的内容。随后按元素乘法，得出C_t=F_t\odot C_{t-1} + T_t\odot \widetilde{C_t}。

如果遗忘门始终为1且输入门始终为0， 则过去的记忆元Ct−1 将随时间被保存并传递到当前时间步。 引入这种设计是为了缓解梯度消失问题， 并更好地捕获序列中的长距离依赖关系。

隐状态 

LSTM中，输出门用于计算隐状态：H_t=O_t \odot tanh(C_t)。只要输出门接近1，我们就能够有效地将所有记忆信息传递给预测部分， 而对于输出门接近0，我们只保留记忆元内的所有信息，而不需要更新隐状态。


http://www.kler.cn/a/300487.html

相关文章：

  • 自定义提示确认弹窗-vue
  • 通信协议之数据帧常用校验方法（奇偶校验、CRC校验）
  • Rust实现内网穿透工具：从原理到实现
  • 深度学习 Pytorch 基本优化思想与最小二乘法
  • 【Python运维】用Python管理Docker容器：从`docker-py`到自动化部署的全面指南
  • ASP.NET Core中 JWT 实现无感刷新Token
  • 目标检测-YOLOv3
  • HTML中的文字与分区标记
  • #include ＜netinet/in.h＞
  • 暴雨液冷服务器硬刚液冷放量元年
  • 探索Python中的斐波那契数列：实现与应用
  • 大规模K8S集群的网络与存储优化：5000+节点规模| 第2集
  • 安装驱动是有什么作用，它是怎么工作的
  • 408算法题leetcode--第一天
  • SprinBoot+Vue高校网上缴费综合务系统的设计与实现
  • 免费云服务器申请教程
  • java反射(reflection)的基本理解和使用
  • MongoDB Limit 与 Skip 方法
  • Java中SringBoot服务连接多个MySQL数据源案例实战
  • 微软面向所有用户推出 Xbox Game Pass Standard
  • Python基础语法（1）下
  • 速盾：未备案网站如何加cdn？
  • 在 `el-upload` 上传图片前裁剪：让你的应用更“裁”心，更“剪”美！
  • linux操作系统日志小知识
  • 【路径规划】 使用计算机视觉和机器人操纵器绘制肖像
  • 828华为云征文 | Flexus X实例CPU、内存及磁盘性能实测与分析