Listwise 模型时间线梳理
Listwise系列相关文章（置顶）
1.Listwise 模型时间线梳理
2.Listwise 排序之 LambdaRank：最大化 NDCG 的秘诀
| 模型名称 | 时间 | 机构/作者 | 背景 | 原理 | 评价指标 | 损失函数 | 特点 |
|---|---|---|---|---|---|---|---|
| RankNet | 2005 | Christopher J.C. Burges 等（微软研究院） | 为了解决传统排序方法无法有效处理复杂特征的问题，RankNet 提出了使用神经网络进行排序优化的方法，开创了深度学习在排序任务中的应用。 | 基于神经网络的排序方法，通过最小化成对损失函数来优化排序。RankNet 使用交叉熵损失函数，直接比较商品对之间的相对顺序。 | NDCG, MAP | 成对交叉熵损失 | 适用于大规模数据集，能够处理复杂的特征表示；引入了神经网络进行排序优化。 |
| AdaRank | 2007 | Qingyao Ai, Hang Li 等（华为诺亚方舟实验室） | 为了改进 RankNet 的训练效率和表达能力，AdaRank 引入了 AdaBoost 的思想，使得模型能够在复杂数据上表现更好，提高了排序的准确性和鲁棒性。 | 基于 AdaBoost 的排序算法，通过迭代调整权重来优化排序性能。AdaRank 通过最大化目标函数来逐步改进排序结果。 | NDCG, MAP | AdaBoost 损失函数 | 能够处理复杂的非线性关系，适应性强；适合用于信息检索和推荐系统。 |
| ListNet | 2007 | Zhe Cao 等（微软研究院） | 为了解决 Pairwise 方法只能优化局部相对顺序的问题，ListNet 提出了直接优化整个列表质量的方法，显著提升了排序的全局效果。 | 通过最小化输出分布与目标分布之间的 KL 散度来优化排序。ListNet 将排序问题视为概率分布的匹配问题。 | NDCG, DCG | KL 散度损失 | 直接在列表级别上进行优化，考虑了整个推荐列表的整体质量；计算复杂度较低。 |
| ListMLE | 2008 | Shenghuo Zhu 等（NEC 实验室） | 为了进一步提高 Listwise 方法的效率和效果，ListMLE 提出了基于最大似然估计的排序优化方法，解决了部分排序数据的处理问题，提高了排序的准确性。 | 基于最大似然估计的方法，直接优化排序列表的概率分布。ListMLE 通过最大化部分排序数据的似然值来优化排序。 | NDCG, DCG | 最大似然估计损失 | 处理部分排序数据的能力较强，适用于大规模数据集；能够捕捉到更复杂的排序模式。 |
| LambdaRank | 2008 | Christopher J.C. Burges 等（微软研究院） | 为了解决传统排序方法无法直接优化 NDCG 等评价指标的问题，LambdaRank 引入了 Lambda 权重，使得模型能够直接优化这些指标，显著提升了排序的效果。 | 通过引入 Lambda 权重来直接优化 NDCG 等评价指标。LambdaRank 衡量交换商品对位置对 NDCG 的影响。 | NDCG, DCG | LambdaRank 损失函数 | 结合了 Pairwise 和 Listwise 的优势，能够高效地优化全局排序质量；直接优化 NDCG 等评价指标。 |
| SVM MAP | 2009 | Fabio Aiolli 等（意大利帕多瓦大学） | 为了解决信息检索中的排序问题，SVM MAP 提出了使用支持向量机来优化 MAP 的方法，特别适用于需要高精度的场景，如搜索引擎和推荐系统。 | 使用支持向量机来优化平均精度（MAP）。SVM MAP 通过最大化 MAP 来优化排序。 | MAP | Hinge 损失函数 | 适合用于信息检索任务，特别是需要高精度的场景；适用于小规模数据集。 |
| SoftRank | 2010 | Kostas Zoumpatianos 等（雅典国立技术大学） | 为了解决传统排序方法中离散损失函数带来的不稳定性，SoftRank 提出了软排序的概念，使训练过程更加稳定，适用于文本和图像等高维数据的排序任务。 | 引入软排序的概念，通过连续化的排名损失函数来优化排序。SoftRank 通过平滑的损失函数来避免极端值的影响。 | NDCG, DCG | 连续化排名损失函数 | 提供了更平滑的损失函数，有助于稳定训练过程；适用于高维数据的排序任务。 |
| LambdaMART | 2010 | Christopher J.C. Burges 等（微软研究院） | 为了解决 LambdaRank 在复杂数据集上的表达能力不足问题，LambdaMART 结合了 GBDT 的优点，提高了模型的表达能力和鲁棒性，广泛应用于实际推荐系统中。 | 结合了 RankNet 和 LambdaRank 的优点，使用梯度提升决策树（GBDT）进行排序优化。LambdaMART 通过 GBDT 提高了表达能力。 | NDCG, DCG | LambdaRank 损失函数 + GBDT | 具有较强的表达能力和鲁棒性，适用于复杂的数据集；结合了 RankNet 和 LambdaRank 的优点。 |
| RankCosine | 2011 | Jiafeng Guo 等（中国科学院自动化研究所） | 为了解决高维数据的排序问题，RankCosine 提出了基于余弦相似度的排序优化方法，特别适用于文本和图像等高维数据的排序任务，提高了排序的准确性。 | 通过优化余弦相似度来改进排序。RankCosine 使用余弦相似度作为损失函数，优化文档或商品之间的相似度。 | NDCG, Cosine Similarity | 余弦相似度损失函数 | 适用于文本和图像等高维数据的排序任务；能够捕捉到复杂的上下文信息。 |
| RankProp | 2012 | Dong Wang 等（清华大学） | 为了解决深度学习框架下的排序问题，RankProp 提出了基于神经网络的排序优化方法，通过端到端的方式进行排序优化，适用于复杂的特征表示和排序任务。 | 基于神经网络的排序方法，通过反向传播算法优化排序性能。RankProp 使用神经网络进行端到端的排序优化。 | NDCG, DCG | 反向传播损失函数 | 适用于深度学习框架，能够处理复杂的特征表示；通过反向传播算法进行优化。 |
| Coordinate Ascent | 2013 | Xu Sun 等（北京大学） | 为了解决大规模数据集上的排序优化问题，Coordinate Ascent 提出了逐坐标上升法，提高了计算效率，适用于大规模数据集的排序任务，提高了排序的效率和效果。 | 通过逐坐标上升法优化排序模型。Coordinate Ascent 通过逐个优化每个特征，逐步改进排序结果。 | NDCG, DCG | 逐坐标上升法损失函数 | 计算效率较高，适用于大规模数据集；能够处理复杂的特征空间。 |
| NeuralSort | 2019 | Harshay Shah 等（斯坦福大学） | 为了解决深度学习框架下排序操作不可微的问题，NeuralSort 提出了可微分的排序操作，使得排序可以通过反向传播进行优化，适用于复杂的特征表示和排序任务，提高了排序的灵活性。 | 引入可微分的排序操作，允许通过反向传播优化排序。NeuralSort 通过可微分的排序操作，使得排序可以通过反向传播进行优化。 | NDCG, DCG | 可微分排序损失函数 | 适用于深度学习框架，能够处理复杂的特征表示和排序任务；提供了可微分的排序操作，使得排序可以端到端优化。 |
| SetRank | 2020 | Jiaxin Mao 等（阿里巴巴达摩院） | 为了解决多文档摘要生成和信息检索中的排序问题，SetRank 提出了基于集合预测的排序优化方法，适用于多文档摘要生成和信息检索任务，提高了排序的准确性和鲁棒性。 | 将排序问题视为集合预测问题，通过优化集合级别的损失函数来改进排序。SetRank 通过集合级别的损失函数来优化排序。 | NDCG, DCG | 集合级别的损失函数 | 适用于多文档摘要生成和信息检索任务；能够捕捉到复杂的上下文信息。 |
| DeepList | 2021 | Yanran Li 等（上海交通大学） | 为了解决复杂特征提取和排序任务中的问题，DeepList 提出了结合深度学习和 Listwise 方法的端到端优化方法，适用于复杂的特征提取和排序任务，提高了排序的准确性和鲁棒性。 | 结合深度学习和 Listwise 方法，通过端到端的方式优化排序。DeepList 使用深度学习模型进行特征提取和排序优化。 | NDCG, DCG | 深度学习损失函数 | 适用于复杂的特征提取和排序任务，具有较强的表达能力；通过端到端的方式进行优化。 |
| GraphRank | 2022 | Jiawei Zhang 等（清华大学） | 为了解决图结构数据的排序问题，GraphRank 提出了基于 GNN 的排序优化方法，适用于社交网络和知识图谱等图结构数据的排序任务，提高了排序的准确性和鲁棒性。 | 利用图神经网络（GNN）进行排序优化。GraphRank 通过 GNN 捕捉图结构数据中的依赖关系，优化排序。 | NDCG, DCG | 图神经网络损失函数 | 适用于图结构数据的排序任务，如社交网络和知识图谱；能够捕捉到复杂的依赖关系。 |