当前位置：首页 > article >正文

信息搜集250102

article 2025/1/5 12:14:36

系列博客目录

文章目录

系列博客目录
1.关于多模态去噪的最新的论文
2.A Dual-Module Denoising Approach with Curriculum Learning for Enhancing Multimodal Aspect-Based Sentiment Analysis
- 摘要
- 引言
3.AoM: Detecting Aspect-oriented Information for Multimodal Aspect-Based Sentiment Analysis AoM：检测面向情感的信息，用于基于情感的多模态情感分析
4.
5.
6.
7.
8.
9.
10.

1.关于多模态去噪的最新的论文

以下是一些关于多模态去噪的最新研究论文，涵盖了推荐系统、生成模型、图像增强、轨迹预测等领域，供您参考：

DDRec: Dual Denoising Multimodal Graph Recommendation
- 提出了双去噪多模态图推荐模型，设计了两种去噪方法以应对多模态特征噪声。
- 来源：IEEE Transactions on Knowledge and Data Engineering (2024)
  论文链接
SOWing Information: Cultivating Contextual Coherence with MLLMs in Image Generation
- 利用多模态大语言模型进行图像生成，结合信息交互实现更高的去噪效果。
- 来源：arXiv (2024)
  论文链接
Prompt Conditioned Batik Pattern Generation using LoRA Weighted Diffusion Model
- 研究了基于扩散模型的多模态去噪，主要应用于弱监督视频解析。
- 来源：IEEE (2024)
  论文链接
Unified Image Restoration and Enhancement
- 提出了一种基于退化校准循环重建扩散模型的统一图像增强方法。
- 来源：arXiv (2024)
  论文链接
ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer
- 探讨了多模态扩散变换器在时间序列预测中的应用。
- 来源：arXiv (2024)
  论文链接
TDiffSal: Text-Guided Diffusion Saliency Prediction Model for Images
- 利用文本引导扩散模型预测图像显著性，显著提高去噪过程的效率。
- 来源：Springer (2024)
  论文链接
Beyond Graph Convolution: Multimodal Recommendation with Topology-aware MLPs
- 提出了一种多模态推荐系统，通过拓扑感知的MLP改进去噪性能。
- 来源：arXiv (2024)
  论文链接
A Dual-Module Denoising Approach for Multimodal Aspect-Based Sentiment Analysis
- 提出了双模块去噪方法以增强多模态情感分析。
- 来源：arXiv (2024)
  论文链接

这些论文展示了多模态去噪技术在不同领域的最新进展和应用，如果需要更详细的摘要或分析，请告诉我！

2.A Dual-Module Denoising Approach with Curriculum Learning for Enhancing Multimodal Aspect-Based Sentiment Analysis

摘要

多模态基于方面的情感分析（MABSA）结合文本和图像执行情感分析，但常常受到无关或误导性视觉信息的影响。现有的方法通常分别处理句子-图像去噪或方面-图像去噪，但未能全面解决这两种类型的噪声问题。为了解决这些局限性，我们提出了一种名为DualDe的新方法，该方法由两个独立的组件组成：混合课程去噪模块（HCD）和方面增强去噪模块（AED）。HCD模块通过引入一种灵活的课程学习策略，优先处理干净数据，从而增强句子-图像的去噪能力。同时，AED模块通过一种方面引导的注意力机制减轻方面-图像噪声，过滤掉与特定分析对象无关的噪声视觉区域。实验结果表明，我们的方法在处理句子-图像噪声和方面-图像噪声方面均表现出色，并在基准数据集上的实验评估中证明了其有效性。

引言

情感分析是自然语言处理（NLP）中的一项基础任务 (Zhang and Liu, 2012)，旨在揭示和解释用户生成内容中包含的观点、态度和情感。多模态基于方面的情感分析（MABSA）在传统情感分析的基础上，结合文本和视觉模态，从而实现对情感更深入和全面的理解。MABSA通常分为三个主要子任务：

多模态方面术语提取（MATE）：该任务侧重于从文本中识别和提取与特定方面相关的术语 (Wu et al., 2020a)。
多模态方面导向情感分类（MASC）：此任务的目标是将每个方面术语的情感分类为正面、中性或负面等类别 (Yu and Jiang, 2019)。
联合多模态方面情感分析（JMASA）：同时解决方面提取和情感分类问题，为方面和情感提供统一的分析 (Ju et al., 2021)。

在实际场景中，并非所有图像都与其对应的文本相关，有些甚至会误导句子的上下文和情感理解。对于与文本相关的图像来说，图像中的所有视觉块也并不都与所关注的方面密切相关，事实上，往往会有一些块引入噪声。在真实场景中，伴随文本的图像可能并非总是相关，有时甚至会误导句子语境和情感的解读。即使图像是相关的，其中的所有视觉元素也未必与关注的方面相关，经常会引入噪声。为了解决这些挑战，现有方法通常侧重于句子-图像去噪或方面-图像去噪。例如，(Ju et al., 2021) 和 (Sun et al., 2021) 等研究通过检测文本与图像的关系来过滤无关的视觉信息，但可能会遗漏在被认为无关的图像中存在的重要细节。(Zhao et al., 2023) 使用课程学习逐步将模型暴露于含噪图像中，但其固定的噪声度量方法限制了灵活性。另一方面，(Zhang et al., 2021) 和 (Yu et al., 2022) 的方法专注于视觉对象与特定词汇之间的交互，而 (Zhou et al., 2023) 使用了方面感知注意力模块来实现精细的对齐。尽管这些方法各有优势，但它们往往忽视了句子-图像去噪的重要性，如图1所示。

在这里插入图片描述