MiniCPM-o 2.6：开源大型语言模型在多模态任务上超越GPT-4o和Claude 3.5

MiniCPM-o 2.6是一款开源的大型语言模型（LLM），其在多模态任务上的表现令人瞩目，成功超越了GPT-4o和Claude 3.5等业界知名模型。以下是对MiniCPM-o 2.6的详细介绍：

一、卓越的多模态能力

MiniCPM-o 2.6采用了先进的端到端多模态架构，能够同时处理文本、图像、音频和视频等多种类型的数据。这一特性使得它在多模态任务上表现出色，能够更准确地理解和生成信息。

1. 领先的视觉能力

   在OpenCompass评测中，MiniCPM-o 2.6的单图理解能力获得了70.2的平均分，超越了GPT-4o-202405、Gemini 1.5 Pro和Claude 3.5 Sonnet等专有模型。同时，它在多图和视频理解方面同样表现出色，超越了GPT-4V和Claude 3.5 Sonnet。

2. 出色的语音能力

   MiniCPM-o 2.6支持双语（英语和中文）实时语音对话，并具有可配置的语音。在自动语音识别（ASR）和语音转文本（STT）翻译方面，它的表现优于GPT-4o-realtime。此外，它还提供了情感/速度/风格控制、端到端语音克隆和角色扮演等高级功能。

二、实时流媒体处理

MiniCPM-o 2.6具有强大的多模态实时流媒体处理能力，能够接受连续的视频和音频流，而无需用户查询。这一特性使得它在实时视频分析和交互式语音对话等应用场景中具有巨大潜力。在StreamingBench评测中，它在实时视频和全源（视频和音频）理解方面超越了GPT-4o-202408和Claude 3.5 Sonnet。

三、先进的OCR能力

MiniCPM-o 2.6在处理图像方面同样表现出色，能够处理高达180万像素的任何长宽比图像（例如1344x1344）。在OCRBench评测中，它在25B参数以下的模型中取得了最优性能，超越了GPT-4o-202405。此外，它还支持超过30种语言的多语言功能。

四、高效性与易用性

MiniCPM-o 2.6在效率方面也表现出色，具有先进的令牌密度（即将每个视觉令牌编码的像素数量）。它能够以640个令牌处理180万像素的图像，比大多数模型减少了75%的令牌数量。此外，它还支持llama.cpp，以实现本地设备上的高效CPU推理。同时，它提供了int4和GGUF格式的量化模型，以及16种不同尺寸，使得高吞吐量和内存高效的推理成为可能。用户还可以使用LLaMA-Factory对新领域和任务进行微调。

MiniCPM-o 2.6凭借其卓越的多模态能力、实时流媒体处理、先进的OCR能力、高效性与易用性等特点，在多模态任务上成功超越了GPT-4o和Claude 3.5等业界知名模型。对于对人工智能和大型语言模型感兴趣的开发者来说，MiniCPM-o 2.6无疑是一个值得尝试的开源选项。

git:https://github.com/OpenBMB/MiniCPM-o?tab=readme-ov-file