当前位置: 首页 > article >正文

文献分享: 对ColBERT段落多向量的剪枝——基于学习的方法

原论文

1. 导论 & \textbf{\&} &方法

1️⃣要干啥:在 ColBERT \text{ColBERT} ColBERT方法中,限制每个段落要保留的 Token \text{Token} Token的数量,或者说对段落 Token \text{Token} Token进行剪枝

2️⃣怎么干:注意以下方法都是整合进 ColBERT \text{ColBERT} ColBERT训练的顶层池化层,而非在后期交互中进行改进

  1. k k k位置 Token \text{Token} Token:只保留每个段落的前 k k k Token \text{Token} Token
  2. k k k罕见 Token \text{Token} Token:选择段落中最罕见的 k k k Token \text{Token} Token,所谓罕见的 Token \text{Token} Token IDF \text{IDF} IDF高的 Token \text{Token} Token
  3. k k k闲置 Token \text{Token} Token:在段落前添加 k k k个特殊 Token \text{Token} Token,这些 Token \text{Token} Token BERT \text{BERT} BERT词汇表中标为闲置(unused),最终只保留这 k k k Token \text{Token} Token
  4. k k k得分 Token \text{Token} Token:用预训练模型的最后一层注意力机制给所有 Token \text{Token} Token一个注意力评分,选取注意力机制最高的 k k k Token \text{Token} Token
    • 注意力张量: P = { p 1 , p 2 , . . . , p m } P\text{=}\{p_1,p_2,...,p_m\} P={p1,p2,...,pm}的注意力为三维张量 A ( h , i , j ) A(h,i,j) A(h,i,j),表示在 h h h头注意力机制中 p i p_i pi p j p_j pj二者的注意力相关性
      image-20250312200743542
    • 注意力评分:以 p i p_i pi为例,其注意力评分为每个注意力头中与 p i p_i pi有关行的总和,即 a ( q i ) = ∑ h = 0 h max ⁡ ∑ j = 0 m A ( h , i , j ) a(q_i)\text{=}\displaystyle{}\sum_{h=0}^{h_{\max}}\sum_{j=0}^{m}A(h,i,j) a(qi)=h=0hmaxj=0mA(h,i,j)

2.   \textbf{2. } 2. 实验概要

1️⃣训练方法: ColBERT \text{ColBERT} ColBERT使用 Mini-LM \text{Mini-LM} Mini-LM时无需归一化和查询扩展,大幅降低计算成本​

2️⃣检索性能:当 k = 50 k\text{=}50 k=50时,剪枝可减少 30% \text{30\%} 30%的段落索引,并且性能减少极小( nDCG@10 \text{nDCG@10} nDCG@10减小 0.01 \text{0.01} 0.01)

3️⃣方法对比:当普通剪枝( k =50 k\text{=50} k=50)时方法 1&3 \text{1\&3} 1&3最佳,剧烈剪枝( k =10 k\text{=10} k=10)时方法 3 3 3显著优于其它方法


http://www.kler.cn/a/587348.html

相关文章:

  • sentinel限流算法
  • 第4节:分类任务
  • 【DevOps】Backstage介绍及如何在Azure Kubernetes Service上进行部署
  • django框架 [面试篇]
  • 当AI学会“察言观色“:多模态情绪识别的魔幻现实主义之旅
  • DevOps实践:持续集成与持续部署完全指南
  • HashMap 中的 key 值类型
  • 重塑企业存储性能的终极引擎-NVMe集群
  • export、export default 和 module.exports 深度解析
  • 母婴商城系统Springboot设计与实现
  • LoRa数传、点对点通信、Mesh网络、ZigBee以及图传技术的区别和特点
  • H3C无线控制器二层注册典型配置举例
  • Android Dagger2 框架依赖图构建模块深度剖析(三)
  • 信息系统运行管理员教程6--信息系统安全
  • 《蓝耘容器全栈技术指南:企业级云原生与异构计算实战大全》
  • 搞定python之六----文件读写
  • 【IDEA插件开发】IntelliJ IDEA 插件开发指南
  • 《灵珠觉醒:从零到算法金仙的C++修炼》卷三·天劫试炼(47)乾坤图演路径 - 欧拉路径(Hierholzer 算法)
  • 使用DeepSeek和墨刀AI,写PRD文档、画原型图的思路、过程及方法
  • linux系统命令——权限