Nvidia VPI 双目相机生成深度图
nVidia VPI（Vision Programming Interface）提供了多种后端，用于执行图像处理和计算机视觉操作。不同的后端针对不同的硬件和用例进行了优化。这些后端包括：
1. CPU: 这是最通用的后端，它运行在标准的中央处理器（CPU）上。优点是可以在任何支持的设备上运行，但相比于专用硬件，其性能可能较低。
2. CUDA: 这个后端利用了NVIDIA的CUDA技术，运行在NVIDIA的图形处理器（GPU）上。它可以提供比CPU更高的性能，特别是对于并行计算密集型的任务。
3. PVA (Programmable Vision Accelerator): PVA是专门为视觉处理设计的硬件加速器。它在某些NVIDIA的SoC（System on Chip）上可用，如Jetson平台。PVA提供高效的图像处理和计算机视觉操作，但是它的可用性有限于特定的硬件。
4. OFA (Optical Flow Accelerator): OFA专门用于计算光流，这是计算机视觉中的一项常见任务，用于估计图像序列中物体的运动。OFA提供了高效的光流计算，但其应用范围相对专一。
5. OFA-PVA-VIC: 这可能是一个组合后端，结合了OFA、PVA以及VIC（Video Image Compositor）的功能，用于提供更全面的图像处理和视频处理能力。这种组合可以优化特定的工作流程，但可能需要特定的硬件支持。
6. PVA-NVENC-VIC: 类似于OFA-PVA-VIC，这是另一种组合后端，结合了PVA、NVENC（NVIDIA的视频编码器）和VIC。这种组合专门用于视频处理应用，例如视频编码和编辑。
每个后端的优劣势取决于特定的应用需求、硬件可用性和性能要求。在选择合适的后端时，需要考虑这些因素以及开发和部署环境。例如，对于需要高性能图像处理但不具备特定NVIDIA硬件的场景，CUDA可能是一个好的选择；而对于嵌入式系统或专门的计算机视觉应用，PVA或OFA可能更合适。
使用Nvidia Jetson Orin NX 测试，测试代码如下
VPI - Vision Programming Interface: Stereo Disparity (nvidia.com)
| 后端 | 深度图 | 置信度图 | FPS | CPU/GPU |
|---|---|---|---|---|
| 原图 |  | 无 | ||
| cpu |  | 无 | 0.64 | 270% / 32% |
| cuda |  |  | 23 | 34.6% / 92% |
| pva |  | 无 | 24 | 35.7% / 32% |
| ofa |  | 无 | 27 | 41.8% / 30% |
| ofa-pva-vic |  |  | 16.7 | 36% / 50% |
| pva-nvenc-vic | Jetson不支持 | Jetson不支持 |