当前位置: 首页 > article >正文

TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search

TextGNN: Improving Text Encoder via Graph Neural Network in Sponsored Search

WWW21

有点偏工业界风格的paper

这篇文章的核心内容是介绍了一种名为TextGNN的模型,它通过结合图神经网络(GNN)和文本编码器来提高在赞助搜索中的广告相关性预测性能。文章详细阐述了TextGNN的设计、实现和评估过程,并展示了其在离线实验和在线A/B测试中的显著性能提升。

研究方法

TextGNN模型的核心思想是将强大的文本编码器(如C-DSSM或TwinBERT)与用户历史行为的图信息相结合,以更好地理解用户意图并生成更好的语言表示。模型继承了双塔结构编码器的所有优点,同时通过图神经网络引入额外的图信息来提升性能。

image

TextGNN模型架构

image

TextGNN模型基于双塔结构,分别处理查询(query)和关键词(keyword)。每个塔由文本编码器块和GNN聚合器组成。文本编码器块可以是基于Transformer的编码器,输入经过BERT的WordPiece分词器处理后,通过几层BERT编码器生成向量表示。GNN聚合器则利用图结构数据,将中心节点(查询或关键词)及其邻居节点的信息聚合起来,生成单个输出向量。最后,查询侧和关键词侧的输出向量通过交叉层(crossing layer)结合,计算最终的相关性分数。

图的构建

文章提出了两种图的构建方法:

  1. 用户点击图:基于用户的历史点击行为构建图,邻居节点是与查询或关键词相关的广告关键词。
  2. 用户点击图与语义ANN结合:对于在点击图中没有足够邻居的查询或关键词,使用近似最近邻(ANN)搜索技术找到语义上相近的查询或关键词作为代理邻居。
知识蒸馏

为了在保持高性能的同时满足计算和延迟限制,文章采用了知识蒸馏技术。使用强大的RoBERTa模型作为教师模型,为大量的查询-关键词对打分,然后用这些分数训练学生模型(TwinBERT或TextGNN),以实现接近教师模型的性能,同时显著降低模型大小和推理时间。

实验

image

关键结论

TextGNN模型通过结合文本编码器和GNN,在广告相关性预测任务中表现出色。它不仅继承了文本编码器的强大自然语言理解能力,还通过图信息补充了额外的上下文信息,从而在低频广告等困难任务上取得了显著的性能提升。在线A/B测试结果表明,TextGNN模型在实际应用中能够显著提高每千次搜索请求的收入(RPM)并降低广告缺陷率,从而同时提升收入和用户体验。


http://www.kler.cn/a/557596.html

相关文章:

  • Pytorch框架03-网络的搭建(nn.Module/卷积层/池化层/非线性激活/线性层/CIFAR-10分类模型搭建)
  • 分页功能组件开发
  • 1688代采下单API接口使用指南:实现商品采集与自动化下单
  • 深度学习-5.卷积网络
  • npm、pnpm和yarn有什么区别
  • Matplotlib 高级图表绘制与交互式可视化(ipywidgets)
  • 【Windows系统node_modules删除失败(EPERM)问题解析与应对方案】
  • mysql之规则优化器RBO
  • 关于 Grok-3 大语言模型的研究
  • Web Worker终极优化指南:4秒卡顿→0延迟的实战蜕变
  • 【AcWing】动态规划-线性DP -选数异或
  • MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决
  • python脚本(一):飞书机器人实现新闻抓取与推送
  • socket()函数的概念和使用案例
  • Android:权限permission申请示例代码
  • C++ 设计模式-模板方法模式
  • 【Python】Python顺序语句经典题合集
  • java开发——为什么要使用动态代理?
  • hot100_74. 搜索二维矩阵
  • Unity FBXExport导出的FBX无法在Blender打开