【电商推荐】全文空间反事实学习：调整、分析属性和工业应用

【电商推荐】全文空间反事实学习：调整、分析属性和工业应用

目录

文章

全文空间反事实学习：调整、分析属性和工业应用
https://arxiv.org/pdf/2210.11039

摘要

本文针对构建有效推荐系统中的一个基本研究问题——点击后转化率（CVR）估计，长期受到数据稀疏性和样本选择偏差问题的困扰。为了缓解数据稀疏性问题，基于整个空间的多任务模型通过利用用户行为序列（曝光→点击→转化）构建辅助学习任务。然而，这些方法仍然存在两个主要缺陷：（1）内在估计偏差（IEB），即CVR估计值本质上大于实际值；（2）错误独立先验（FIP），即可能忽视了从点击到点击后转化的因果关系。基于此，本文进一步提出了一种模型不可知的方法，称为整个空间反事实多任务模型（ESCM2），它利用反事实风险最小化器同时处理IEB和FIP问题。为了证明ESCM2的优越性，本文探索了其在实践中的参数调整，推导了其分析属性，并展示了其在工业中的有效性，其中ESCM2可以有效缓解内在的IEB和FIP问题，并优于基线模型。

研究背景

推荐系统旨在向用户传递有价值的物品以满足他们的兴趣，推动电子商务、广告和社交媒体中的用户增长。在典型的基于内容的推荐流程中，包括离线和在线两个阶段。在离线阶段，从日志中提取项目属性、用户档案和它们的交互来训练多任务排名模型。在在线阶段，排名模型根据估计的点击通过率（CTR）、点击后转化率（CVR）和点击转化率（CTCVR）对所有候选项目进行排名。基于此，项目被暴露给用户以满足他们的个性化偏好。最后，排名模型的性能将根据实时用户反馈进行优化。然而，点击反馈经常不能真实反映用户偏好，因为它在实践中容易受到许多因素的影响，例如点击诱饵。相比之下，点击后反馈，即CVR，忠实地反映了用户偏好，并直接影响商品交易总额，因此在推荐委员会中引起了特别关注。

问题与挑战

在构建CVR估计器的简单但广泛选择的方法中，存在两个关键问题。第一个问题是样本选择偏差，即训练空间仅由用户-项目交叉点组成，其中点击发生，而推理空间是整个曝光空间。由于CVR较低的交叉点更有可能从训练空间中排除，导致训练数据并非随机缺失，这导致训练空间和推理空间之间的偏差。第二个问题是点击样本的稀疏性。鉴于Ali-CPP基准测试的CTR为4%，我们的工业基准测试为3.8%，训练数据的数量极不足以开发一个可泛化的CVR估计器。总之，这两个问题显著阻碍了简单方法在点击空间之外的泛化和在线性能。

如何解决

为了解决这些问题，本文提出了一种名为整个空间反事实多任务模型（ESCM2）的方法，该方法结合了反事实风险最小化器来规范CVR估计器，在ESMM框架内。本文通过以下方式解决IEB和FIP问题：

1. ESCM2-IPS：使用CTR塔和CVR塔来计算LCVR，使用RIPS进行计算。
2. ESCM2-DR：使用额外的估算塔，并使用RDR进行LCVR的计算。

创新点

• 反事实风险最小化器：ESCM2利用反事实风险最小化器来同时处理IEB和FIP问题。
• 模型不可知方法：ESCM2是一种模型不可知的方法，这意味着它可以应用于任何现有的推荐系统模型。
• 理论分析：本文提供了对ESCM2的数学分析，证明了其在处理IEB和FIP问题上的有效性。

算法模型

ESCM2架构

ESCM2利用用户行为序列（曝光→点击→转化）和多任务学习框架。学习到的表示在任务之间共享，通过一个共同的查找嵌入表，有效缓解了数据稀疏性问题。ESCM2使用CTR塔来估计点击通过率，CVR塔来估计转化率，估算塔来估算CVR估计误差。

学习目标

ESCM2的学习目标包括三个部分：

• CTR估计的实证风险（LCTR）：在曝光空间D中计算。
• CTCVR估计的全局风险（LCTCVR）：在曝光空间D中计算。
• CVR估计的反事实风险（LCVR）：使用RIPS或RDR计算。

实验效果

离线比较

在两个基准测试上对ESCM2的CVR和CTCVR估计性能进行了比较。在工业基准测试上，ESCM2-IPS和ESCM2-DR在AUC和KS分数上均优于ESMM和其他基线方法。在Ali-CCP基准测试上，ESCM2-IPS在召回率和F1分数上表现最佳，而ESCM2-DR在KS和AUC上得分最高。

在线A/B测试

在支付宝的真实推荐系统中进行了在线实验。ESCM2在三个大规模场景中均优于ESMM，提高了实际保费和订单数量。

重要数据与结论

• ESCM2-IPS在工业基准测试的AUC上比ESMM提高了0.39%，在KS分数上提高了1.04%。
• ESCM2-DR在工业基准测试的AUC上比ESMM提高了0.01%，在KS分数上提高了0.04%。
• 在线A/B测试中，ESCM2在保险推荐场景中提高了实际保费10.85%，订单数量提高了2.84%。

推荐阅读指数：★★★★☆

后记

如果您对我的博客内容感兴趣，欢迎三连击(点赞，关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习，计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。