【论文解读】ECCV2018细粒度分类：自监督机制NTS-Net模型引领新方向 （附论文地址）
论文地址：https://arxiv.org/pdf/1809.00287
这篇论文由北京大学机器感知国家重点实验室的Ze Yang、Tiange Luo、Dong Wang、Zhiqiang Hu、Jun Gao和Liwei Wang撰写，发表于2018年。论文提出了一种新颖的自监督机制，用于在没有边界框/部分注释的情况下有效定位图像中的信息性区域，以解决细粒度分类的挑战。以下是对论文内容的解读：
研究背景与动机
细粒度分类任务的目标是区分属于同一上级类别的下属类别，例如区分不同的鸟类物种或汽车型号。这些下属类别通常由领域专家根据特定区域的微妙差异来定义。深度学习虽然在许多计算机视觉任务中推动了研究进展，但在细粒度分类中的应用并不十分令人满意，主要难点在于找到图像中的信息区域并提取其中的判别特征。为了解决这一问题，作者提出了一种新的自监督机制，无需边界框或部分注释即可有效定位图像中的信息性区域。
NTS-Net模型
论文提出的NTS-Net（Navigator-Teacher-Scrutinizer Network）模型由三个代理组成：导航者（Navigator）、教师（Teacher）和审查者（Scrutinizer）。模型基于区域信息性和它们成为真实类别的概率之间的内在一致性，设计了一种新颖的训练范式【Teacher代理评估Navigator所选区域，并提供反馈。Scrutinizer代理则对这些区域进行审查，并做出预测。】。在这种范式下，导航者在教师的指导下检测图像中最有信息性的区域，然后审查者对导航者提出的区域进行审查并做出预测。
NTS-Net的工作流程
-
The Navigator agent 网络导航模型，以关注信息最丰富的区域。对于图像中的每个区域，Navigator通过对损失排序来预测该区域的信息量(如下所述)，并利用这些预测来提出信息最丰富的区域。
-
Teacher agent 对Navigator提出的信息量最大的区域进行评估，并提供反馈：对于每个提出的区域，Teacher评估其概率为ground-truth class。置信度评估指导navigator网络使用排序一致性损失函数(在代码实现中称为“ranking loss”)，提出信息更丰富的区域。
-
Scrutinizer agent 从Navigator中对提出的区域进行审查并进行细粒度分类：将每个提出的区域扩大到相同大小，agent从中提取特征，将区域特征与整幅图像的特征联合处理，进行细粒度分类，是解决这一复杂问题的主要方法。
信息区域有助于更好地表征物体，因此将信息区域的特征与全图像融合将获得更好的性能。
因此，目标是局部化物体中信息最丰富的区域。
创新点
-
提出了一种新颖的多代理协作学习机制，无需边界框/部分注释即可准确识别图像中的信息区域。
-
设计了一种新颖的损失函数，通过强制区域的信息性和成为真实类别的概率之间的一致性，使教师能够指导导航者定位图像中最有信息性的区域。
-
模型可以端到端训练，在推理过程中提供准确的细粒度分类预测以及高度信息性的区域。
-
在广泛的基准数据集上实现了最先进的性能。
自监督学习机制
NTS-Net模型通过自监督学习机制在无需边界框或部分注释的情况下定位信息性区域。该机制基于区域的信息量与其成为真实类别的概率之间的内在一致性。Navigator网络预测每个区域的信息量，而Teacher网络评估每个提议区域属于真实类别的概率。通过新颖的排序一致性损失函数，Navigator在Teacher的指导下检测最有信息量的区域。
实验结果
实验在CUB-200-2011、Stanford Cars和FGVC Aircraft等广泛使用的细粒度图像分类基准数据集上进行。实验结果显示，NTS-Net在这些数据集上达到了最先进的性能，无需使用任何边界框或部分注释。具体来说，在CUB-200-2011数据集上，NTS-Net的top-1准确率达到了87.5%，在FGVC Aircraft上达到了91.4%，在Stanford Cars上达到了93.9%。
论文贡献
-
提出了一种新颖的多代理协作学习方案，用于细粒度分类任务。
-
设计了一种新颖的损失函数，确保区域的信息性和成为真实类别的概率之间的一致性。
-
实现了模型的端到端训练，并在推理过程中提供了准确的细粒度分类预测以及高度信息性的区域。
与其他方法的比较
NTS-Net与其他细粒度分类方法相比，具有明显的优势，尤其是在不依赖边界框或部分注释的情况下。它通过自监督的方式有效地定位信息性区域，并通过多代理合作学习方案提高了分类的准确性。与其他方法相比，NTS-Net在相同的数据集上取得了更高的准确率，显示出其强大的性能。
应用场景
NTS-Net模型的潜在应用场景包括但不限于生物多样性研究、医学图像分析、工业产品分类等。在生物多样性研究中，它可以用于自动识别和分类物种，有助于生态学家和保护生物学家的研究。在医学图像分析中，它可以辅助识别和分类不同的细胞或组织类型，从而提高诊断的准确性。
未来工作
基于NTS-Net模型，未来的工作可能包括进一步优化模型结构以提高效率和准确性，探索更多的自监督学习机制，以及将模型扩展到更广泛的应用场景。此外，研究者可以探索如何将NTS-Net与其他类型的神经网络或机器学习模型结合，以实现更全面的特征学习和更好的泛化能力。
结论
论文所提出的方法无需边界框/部分注释即可实现细粒度分类，三个网络（导航者、教师和审查者）相互协作和加强，通过新颖的损失函数考虑了区域信息性和成为真实类别概率之间的顺序一致性。算法可以端到端训练，并在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集上取得了最先进的结果。