【AI论文】DropletVideo：一种用于探索整体时空一致视频生成的数据集与方法

摘要：时空一致性是视频生成领域的一个关键研究课题。一段合格的生成视频片段必须确保情节具有合理性和连贯性，同时在不同视角下保持物体和场景的视觉一致性。以往的研究，尤其是开源项目，主要侧重于时间一致性或空间一致性，或者它们的基本结合，例如在提示后附加一段相机运动的描述，而不约束该运动的结果。然而，相机运动可能会给场景引入新的物体或消除现有物体，从而叠加并影响之前的叙事。特别是在包含大量相机运动的视频中，多个情节之间的相互作用变得更加复杂。本文引入并探讨了整体时空一致性，考虑了情节进展与相机技术之间的协同作用，以及先前内容对后续生成的长期影响。我们的研究涵盖了从数据集构建到模型开发的全过程。首先，我们构建了DropletVideo-10M数据集，该数据集包含1000万个具有动态相机运动和物体动作的视频。每个视频都附有平均206个字的详细字幕，描述了各种相机运动和情节发展。随后，我们开发并训练了DropletVideo模型，该模型在视频生成过程中表现出色，能够保持时空一致性。DropletVideo数据集和模型可通过https://dropletx.github.io访问。Huggingface链接：Paper page，论文链接：2503.06053

研究背景和目的

研究背景

随着人工智能技术的飞速发展，视频生成已成为计算机视觉和自然语言处理领域的重要研究方向。视频生成技术不仅要求生成的视频在视觉上逼真，还需要在情节上连贯合理，以确保观众能够理解并沉浸其中。然而，实现高质量的视频生成面临诸多挑战，其中时空一致性是一个尤为关键的问题。时空一致性要求生成的视频在时间上保持情节的连贯性，同时在空间上保持物体和场景在不同视角下的视觉一致性。

以往的研究在视频生成方面取得了显著进展，但大多数研究主要集中在时间一致性或空间一致性上，或者只是简单地结合了这两者。例如，一些研究在提示后附加相机运动的描述，但并未约束该运动对后续情节的影响。然而，相机运动可能会引入新的物体到场景中，或者消除现有的物体，从而叠加并影响之前的叙事。特别是在包含大量相机运动的复杂视频中，多个情节之间的相互作用变得更加复杂，这进一步增加了实现时空一致性的难度。

此外，现有的视频生成数据集大多缺乏对相机运动和情节发展的详细描述，这限制了模型在训练过程中学习时空一致性的能力。因此，构建一个包含丰富相机运动和详细情节描述的大规模数据集，并开发一种能够生成具有整体时空一致性视频的方法，成为了一个亟待解决的问题。

研究目的

本文旨在解决视频生成中的时空一致性问题，通过引入整体时空一致性的概念，并构建相应的数据集和模型来实现这一目标。具体研究目的包括：

1. 定义整体时空一致性：明确整体时空一致性的概念，考虑情节进展与相机技术之间的协同作用，以及先前内容对后续生成的长期影响。
2. 构建大规模数据集：构建一个包含1000万个视频的大规模数据集（DropletVideo-10M），这些视频具有动态相机运动和详细的情节描述，以支持整体时空一致性视频生成模型的训练。
3. 开发生成模型：开发一种基于深度学习的视频生成模型（DropletVideo），该模型能够在视频生成过程中保持整体时空一致性。
4. 评估与验证：通过定量和定性的评估方法，验证所提出的方法在生成具有整体时空一致性视频方面的有效性。

研究方法

数据集构建

为了支持整体时空一致性视频生成模型的训练，本文构建了一个名为DropletVideo-10M的大规模数据集。该数据集包含1000万个视频，每个视频都附有详细的字幕，描述了视频中的相机运动和情节发展。具体构建过程如下：

1. 视频收集：从YouTube等视频平台收集大量的原始视频素材，涵盖电影、短片、VLOG等多种类型。
2. 视频分割：使用自动提取工具对原始视频进行分割，提取出包含相机运动和物体动作的片段。
3. 视频过滤：根据相机运动类型、美学评分和图像质量评分对提取出的视频片段进行过滤，确保数据集的质量和多样性。
4. 视频字幕生成：使用视频到文本模型为过滤后的视频片段生成详细的字幕，描述视频中的相机运动和情节发展。

模型开发

本文提出了一种基于深度学习的视频生成模型，名为DropletVideo。该模型采用扩散模型（Diffusion Model）作为基础框架，并结合了三维因果变分自编码器（3D Causal VAE）和模态专家变换器（Modality-Expert Transformer）等先进技术。具体模型架构如下：

1. 输入编码：将文本提示和视频帧分别输入到文本编码器和三维因果变分自编码器中，进行潜在特征编码。
2. 潜在空间融合：将文本编码和视频编码的潜在特征输入到模态专家变换器中，进行跨模态融合和信息传递。
3. 视频生成：根据融合后的潜在特征，使用三维因果变分自编码器的解码器生成新的视频帧。
4. 运动自适应生成：通过引入运动控制参数M，实现对视频生成速度的动态调整，以满足不同用户的需求。

模型训练

在训练过程中，本文采用了自适应均衡采样策略，根据视频中的运动强度动态调整采样帧率，以捕捉更丰富的运动细节。同时，还采用了混合精度训练和分布式计算等技术手段，提高了训练效率和模型性能。

研究结果

定量评估

本文在多个性能指标上对DropletVideo模型进行了定量评估，包括I2V主体、I2V背景、相机运动、主体一致性、背景一致性、时间闪烁、运动平滑度、动态程度和美学质量等。实验结果表明，DropletVideo模型在大多数性能指标上均优于其他先进的视频生成模型，特别是在相机运动和运动平滑度等关键指标上表现出色。

定性评估

本文还通过一系列定性评估验证了DropletVideo模型在生成具有整体时空一致性视频方面的有效性。实验结果显示，DropletVideo模型能够准确捕捉视频中的相机运动和情节发展，并生成连贯合理的视频片段。特别是在处理复杂相机运动和动态场景时，DropletVideo模型能够保持物体和场景在不同视角下的视觉一致性，从而生成更加逼真的视频。

研究局限

尽管本文在视频生成的整体时空一致性方面取得了显著进展，但仍存在一些局限性：

1. 数据集规模：尽管DropletVideo-10M数据集是目前最大的时空一致性视频生成数据集之一，但其规模仍有待进一步扩大，以包含更多样化的相机运动和情节发展。
2. 模型性能：DropletVideo模型在生成360度旋转视频时仍存在一定的局限性，无法完全保持物体的三维一致性。此外，在处理极端复杂的相机运动时，模型性能也有待进一步提升。
3. 评估指标：目前缺乏专门针对整体时空一致性的评估指标，这限制了对模型性能的全面评估。未来需要开发更加精细和全面的评估方法来衡量视频生成的整体时空一致性。

未来研究方向

针对上述研究局限，本文提出以下未来研究方向：

1. 扩大数据集规模：继续收集更多样化的视频素材，并构建更大规模的时空一致性视频生成数据集，以支持更强大的模型训练。
2. 改进模型架构：探索更加先进的深度学习架构和技术手段，如自注意力机制和图神经网络等，以进一步提升模型在生成复杂相机运动和动态场景方面的性能。
3. 开发评估指标：针对整体时空一致性这一特定问题，开发更加精细和全面的评估指标和方法，以更准确地衡量视频生成的质量。
4. 拓展应用场景：将整体时空一致性视频生成技术应用于更多实际场景中，如虚拟现实、增强现实和影视制作等领域，为人类带来更加沉浸式和逼真的视觉体验。