Pseudo Multi-Camera Editing 数据集：通过常规视频生成的伪标记多摄像机推荐数据集，显著提升模型在未知领域的准确性。
2024-10-19，由伊利诺伊大学厄巴纳-香槟分校和香港城市大学的研究团队提出了一种创新方法，通过将常规视频转换成伪标记的多摄像机视角推荐数据集，有效解决了在未知领域中模型泛化能力差的问题。数据集的创建，为电影、电视和其他媒体制作中的摄像机选择提供了有力的辅助，显著提高了模型在目标领域的准确性，实现了68%的相对改进。
一、研究背景：
在电影、电视和其他媒体制作中，多摄像机系统的作用不可或缺。选择合适的摄像机视角对于提高制作质量和满足观众偏好至关重要。基于学习的视角推荐框架可以帮助专业人士做出决策，但这些框架在训练领域之外往往表现不佳，而标记好的多摄像机视角推荐数据集的稀缺加剧了这一问题。
目前遇到困难和挑战:
1、多摄像机视角推荐模型在未见过的领域中泛化能力差，导致准确率显著下降。
2、现有的多摄像机编辑数据集（如TVMCE）仅限于特定场景和类型，无法覆盖更广泛的领域。
3、收集相同领域的数据需要多个同步摄像机捕捉同一事件，且需要专业的电影制作专家进行标记，这在实际操作中非常困难。
数据集地址：多摄像头视图推荐数据集|模型泛化数据集
二、让我们一起来看一下Pseudo Multi-Camera Editing数据集：
Pseudo Multi-Camera Editing Dataset：通过将常规视频转换为伪标记的多摄像机视角推荐数据集，以解决标记数据稀缺的问题。研究团队利用视频编辑中的镜头转换来模拟摄像机切换，通过聚类镜头来模拟不同的摄像机，并选择每个“伪”摄像机中最相似的镜头作为候选镜头，与真实镜头一起生成伪标记数据。
数据集构建：
包括镜头检测、聚类生成伪摄像机标签、以及从每个伪摄像机中选择候选镜头。使用ResNet50预训练模型提取图像特征，并计算镜头间的视觉相似度。
数据集特点：
1、利用常规视频生成伪标记数据，无需专业标记。
2、通过聚类模拟多摄像机系统，提高模型在未知领域的泛化能力。
3、实现了68%的相对准确率提升。
研究者可以使用该数据集训练和测试多摄像机视角推荐模型。通过对比真实镜头和候选镜头的特征，模型可以学习在不同场景下选择合适的摄像机视角。
基准测试 ：
在TVMCE数据集上，与现有的Temporal and Contextual Transformer (TC Transformer)模型相比，提出的框架在域内准确率上提高了11%。在未知领域（如情景喜剧场景）中，使用伪数据集训练的模型表现出显著更好的泛化能力。
（a） 在特定域的标记多相机编辑数据集上训练的模型对前所未见的域的泛化效果不佳，准确性显着下降。（b） 我们提出的方法利用常规视频为目标域生成伪标记数据集并提高模型的准确性
模型架构。（a） 过去的编码器将所有过去的特征编码为单个特征向量。然后，应用对比损失以最大化过去特征和真实特征之间的余弦相似性。（b） 特征提取器通过向图像特征添加位置嵌入来对帧进行编码。
伪数据集生成管道。（a） 在输入视频中检测到镜头，以及 （b） 分组。同一群集中的快照被视为来自同一“伪”摄像机。（c） 选择镜头作为锚点。后续镜头是地面实况，而其他每个 N-1 伪相机中最相似的镜头被选为候选镜头。
与基线的比较。多摄像头视图推荐模型对前所未见的领域的泛化效果不佳。ID：域内，OOD：域外。
视频场景的影响。在与测试集不同的场景中训练的模型准确率较低。绿色和红色表示相同和不同。
视频场景和类型（情景喜剧）的影响。更显著的域差异（视频场景 + 视频类型）会严重影响准确性。来自广泛视频的伪数据集可以覆盖目标视频场景和类型，从而获得更高的准确性。绿色、橙色和红色表示相同、有遮盖和不同。
三、让我们一起展望Pseudo Multi-Camera Editing数据集应用
比如，我是一名电影剪辑师。
我日常的工作：坐在剪辑室里，我得盯着屏幕，看那些复杂的实验室场景，或者是太空船的驾驶舱。每个摄像机都捕捉了不同的角度，有的可能是全景，有的可能是特写，还有的可能聚焦在某个重要的仪器上。我得决定什么时候切换到哪个镜头，才能让观众感受到那种紧张刺激的气氛，同时又不能错过任何重要的细节。这就像是在做一道复杂的数学题，你得把所有的元素都考虑到，还得保证最后的结果让观众满意。
现在有了这个Pseudo Multi-Camera Editing Dataset数据集训练的系统，我的眼睛得到更好的休息。
比如，我在剪辑一个太空船即将进入黑洞的紧张场景。这个系统就能帮我分析出，哪个镜头最能展现太空船的动态，哪个镜头最能捕捉到宇航员脸上的紧张表情。它会告诉我，现在可以切换到一个全景镜头，让观众感受到太空船在黑洞面前的渺小；然后，再切换到宇航员的特写，因为他的眼神中透露出坚定和决心。
这个系统就像是我的智能剪辑助手，它通过学习大量的视频资料，已经知道在这种科技电影中，哪些镜头最能打动人心。比如，在剪辑一个科学家在实验室里做实验的场景时，它会建议我切换到一个特写镜头，聚焦在科学家手中的那个即将引爆的装置上，因为那个装置的每一个细节都可能关系到整个实验的成败。
而且，这个系统还能帮我处理那些特别复杂的特效场景。比如，太空船在太空中爆炸的场景，它能够分析出哪个镜头最能捕捉到爆炸的震撼效果，哪个切换最能带动观众的情绪。这样，我就可以把更多的精力放在故事的叙述上，而不是纠结于每个镜头的选择。
有了Pseudo Multi-Camera Editing Dataset数据集训练的系统，让我在剪辑科技电影时，能够更加专注于创意和故事的讲述，而不用担心错过那些重要的细节。它帮我捕捉到每一个精彩的瞬间，让我的工作变得更加高效和有趣。