当前位置： 首页 > article >正文

【nlp】2.8 注意力机制拓展

article 2025/2/1 13:54:41

注意力机制拓展

  • 1 注意力机制原理
    • 1.1 注意力机制示意图
    • 1.2 Attention计算过程
    • 1.3 Attention计算逻辑
    • 1.4 有无attention模型对比
      • 1.4.1 无attention机制的模型
      • 1.4.2 有attention机制的模型

1 注意力机制原理

1.1 注意力机制示意图

Attention机制的工作原理并不复杂，我们可以用下面这张图做一个总结

在这里插入图片描述

1.2 Attention计算过程

  • 阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值
  • 阶段二: 将这个分值进行归一化(softmax)，得到一个注意力的分布
  • 阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值

为了更好的说明上面的情况, 我们通过注意力来做一个机器


http://www.kler.cn/a/145127.html

相关文章：

  • 脚本运行禁止：npm 无法加载文件，因为在此系统上禁止运行脚本
  • Git 版本控制：基础介绍与常用操作
  • python学opencv|读取图像（四十九）原理探究：使用cv2.bitwise()系列函数实现图像按位运算
  • 【Rust自学】14.6. 安装二进制crate
  • Python NumPy（7）：连接数组、分割数组、数组元素的添加与删除
  • 虹科分享 | 汽车NVH小课堂之听音辨故障
  • TCP/IP协议、三次握手、四次挥手
  • 【开源项目】C#.NET 扩展库 -- Com.Gitusme.Net.Extensiones.Core
  • 为什么程序员最应该学习的是运营与销售，而不是技术？
  • AMESim与MATLAB联合仿真demo
  • 数据结构与算法之二叉树: LeetCode 226. 翻转二叉树 (Typescript版)
  • 24. 深度学习进阶 - 矩阵运算的维度和激活函数
  • C#，《小白学程序》第十一课：双向链表(Linked-List)其二，链表的插入与删除的方法（函数）与代码
  • CocosCreator 面试题（十五）Cocos Creator如何内置protobuf JS版本?
  • Spring Boot 3.2.0 现已推出
  • 基于springboot实现私人健身与教练预约管理系统项目【项目源码+论文说明】计算机毕业设计
  • postgresql从入门到精通 - 第35讲：中间件PgBouncer部署|PostgreSQL教程
  • Re54：读论文 How Context Affects Language Models‘ Factual Predictions
  • 梯度详解与优化实战
  • Android 一键屏锁的实现
  • RabbitMQ之发送者（生产者）可靠性
  • Linux常用命令——bg命令
  • MyBatis的功能架构,MyBatis的框架架构设计,Mybatis都有哪些Executor执行器,Mybatis中如何指定使用哪一种Executor执行器
  • ctfshow刷题web入门--1--ljcsd
  • 【版本管理 | Git】Git rebase 命令最佳实践！确定不来看看？
  • P14 C++局部静态变量static延长生命周期