当前位置： 首页 > article >正文

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

article 2024/12/24 23:36:49

【NLP高频面题 - Transformer篇】Transformer的位置编码是如何计算的？

重要性：★★★

NLP Github 项目：

  • NLP 项目实践：fasterai/nlp-project-practice

    介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验

  • AI 藏经阁：https://gitee.com/fasterai/ai-e-book

    介绍：该仓库主要分享了数百本 AI 领域电子书

  • AI 算法面经：fasterai/nlp-interview-handbook#面经

    介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器

  • NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

    介绍：该仓库汇总了 NLP 算法工程师高频面题

Transformer 位置编码矩阵究竟是如何计算的呢？如下所示，Transformer 论文“Attention Is All You Need”的作者使用了正弦函数来计算位置编码：
在这里插入图片描述

  • p o s pos pos 表示该词在句子中的位置
  • i i i 表示在输入矩阵中的位置
  • d m o d e l d_{model} dmodel​ 表示嵌入维度

计算实例：对于给定的句子 I am good 为例，嵌入维度为4，计算位置编码。

  1. 根据公式计算位置编码矩阵：
    在这里插入图片描述

  2. 计算位置编码矩阵（简化版）：
    在这里插入图片描述

  3. 继续计算位置编码矩阵：
    在这里插入图片描述

  4. 最终的位置编码矩阵 P P P 如图所示:
    在这里插入图片描述

NLP 大模型高频面题汇总

NLP基础面
BERT 模型面
LLMs 微调面

http://www.kler.cn/a/449950.html

相关文章：

  • 【GO环境安装】mac系统+GoLand使用
  • SQL server学习09-数据库编程（上）
  • 使用Vue+Django开发的旅游路书应用
  • set的使用
  • K8s HPA的常用功能介绍
  • 精通Redis
  • 验证码机制
  • C/C++基础知识复习（43）
  • 库卡机器人维修A5轴力矩过大报警故障
  • vue预览和下载 pdf、ppt、word、excel文档,文件类型为链接或者base64格式或者文件流,
  • skyler实战渗透笔记（十）—IMF
  • python学opencv|读取图像（十七）认识alpha通道
  • 计算机基础复习12.23
  • TSN（时间敏感网络）介绍
  • 【微服务】SpringBoot 整合Redis实现延时任务处理使用详解
  • 重温设计模式--代理模式
  • LeetCode72. 编辑距离（2024冬季每日一题 37）
  • 不同路径
  • 2023-2024年云赛道模拟题库
  • Java重要面试名词整理（二）：SpringMyBatis
  • Mac系统下 idea中如何创建maven项目
  • 从零开始C++游戏开发之第七篇：游戏状态机与回合管理
  • 买卖股票的最佳时机 IV - 困难
  • MySQL数据库多主模式解决方案
  • Mybatis-Plus 开发技巧
  • STM32-按键扫描配置