【CVPR2024】Scaling Up Video Summarization Pretraining with Large Language Models
研究背景
- 研究问题：这篇文章要解决的问题是长视频内容在互联网流量中占据重要比例，因此自动视频摘要成为了一个重要的研究课题。然而，现有的视频摘要数据集规模有限，限制了现有方法在泛化能力上的有效性。
- 研究难点：该问题的研究难点包括：视频内容的多样性和主观性使得视频摘要任务成为一个非常不确定的问题；现有的视频摘要数据集规模小，导致现有方法容易过拟合特定视频领域，泛化能力受限。
- 相关工作：该问题的研究相关工作有：早期的无监督视频摘要方法、基于监督的方法、查询驱动的视频摘要方法以及多模态视频摘要方法。现有的最先进方法在处理长尾分布问题和序列依赖性方面存在不足。
研究方法
这篇论文提出了一种利用大型语言模型（LLMs）作为Oracle摘要器来生成大规模视频摘要数据集的自动化和可扩展的管道，并基于此提出了一个新的视频摘要模型。具体来说，
-
数据集生成：首先，使用语音转文字模型将长视频转换为文本，然后将文本输入到LLMs中，提示其提取视频中最关键和信息量最大的时刻，并保留原始措辞和时间戳。最后，将提取