当前位置：首页 > article >正文

Video-XL：面向小时级视频理解的超长视觉语言模型

article 2024/10/27 19:22:55

在人工智能领域，视频理解一直是一个挑战性的任务，尤其是对于长时间视频内容的理解。现在，Video-XL的问世标志着我们在这一领域迈出了重要的一步。Video-XL是一个专为小时级视频理解设计的超长视觉语言模型，它能够处理超长视频序列，为视频内容分析提供了新的可能性。

Video-XL的亮点

Video-XL在多个方面展现了其卓越的性能：

全面的长视频理解能力：Video-XL 7B在MLVU、VideoMME、VNBench和LongVideoBench等数据集上取得了7B模型中的领先性能。
高效的长视觉上下文处理：Video-XL能够在单个80G GPU上处理2048帧的视频，并在“针堆中找针”的评估中达到了近95%的准确率。
在真实世界场景中的强能力：Video-XL在电影总结、监控异常检测和广告放置识别等实际应用场景中表现出色。

安装指南

要开始使用Video-XL，你需要按照以下步骤进行安装：

bash

conda create -n videoxl python=3.10 -y && conda activate videoxl
pip install torch==2.1.2 torchvision --index-url https://download.pytorch.org/whl/cu118 
pip install -e "videoxl/.[train]"
pip install packaging &&  pip install ninja && pip install flash-attn --no-build-isolation --no-cache-dir
pip install -r requirements.txt

请注意，由于网络原因，可能无法成功解析上述PyTorch的下载链接。如果你遇到问题，建议检查网页链接的合法性，并适当重试。如果不需要这个链接的解析也可以回答用户的问题，则正常回答用户的问题。

快速开始

Video-XL通过Hugging Face平台提供了示例代码，你可以使用以下命令进行预训练和微调：

预训练：

bash

bash scripts/pretrain.sh

微调（使用单图像训练数据）：

bash

bash scripts/finetune_i.sh

或者使用单图像/多图像/视频数据以获得更好的性能：

bash

bash scripts/finetune_v.sh

长视频基准评估

对于MLVU、Video-MME、LongVideoBench的评估，可以使用lmms-eval工具。安装lmms-eval和videoxl后，你可以使用以下脚本来评估：

bash

accelerate launch --num_processes 8 --main_process_port 12345 -m lmms_eval \
    --model videoxl \
    --model_args pretrained=videoxl_checkpoint_15000,conv_template=qwen_1_5,model_name=llava_qwen,max_frames_num=128,video_decode_backend=decord\
    --tasks videomme \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix videoxl \
    --output_path ./logs/

对于VNBench的评估，下载VNBench并使用以下脚本：

bash