ONNX模型部署利器ONNXRUNTIME框架
1.ONNXRUNTIME介绍
ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，
可以通过设置不同的推理后台支持，包括：
支持语言也非常丰富，不止于Python跟C++语言，支持列表如下：
支持的操作系统包括Windows、Android、乌班图、iOS等。
2.Python版本安装与测试
Python版本安装特别容易,一条命令行搞定
CPU版本
pip install onnxruntimeGPU版本
pip install onnxruntime-gpu通过下面的API函数可以查询当前支持推理Provider，代码如下：
运行结果如下：
3.C++版本安装与测试
首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录
D:\microsoft.ml.onnxruntime.gpu.1.13.1\build\native\include然后配置库目录：
D:\microsoft.ml.onnxruntime.gpu.1.13.1\runtimes\win-x64\native最后配置链接器，我的是支持CUDA版本，配置如下：
onnxruntime_providers_shared.libonnxruntime_providers_cuda.libonnxruntime.lib
最后把DLL文件copy到编译生成的可执行文件同一个目录下，直接运行即可。C++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象Session，预处理图像，然后执行推理，最后完成后处理即可。
以ResNet18模型为例，导出ONNX格式，基于ONNXRUNTIME推理效果如下：
