当前位置: 首页 > article >正文

pointpillar部署-TensorRT实现(二)

模型推理部分

模型推理主要使用tensorRT进行推理计算

1.整体过程

class TRT {
private:
//    Params params_;

    cudaEvent_t start_, stop_;

    Logger_pp gLogger_;
    nvinfer1::IExecutionContext *context_ = nullptr;
    nvinfer1::ICudaEngine *engine_ = nullptr;

    cudaStream_t stream_ = 0;
public:
    TRT(std::string modelFile, cudaStream_t stream = 0);

    ~TRT(void);

    int doinfer(void **buffers);
};

2.模型加载与推理


TRT::TRT(std::string modelFile, cudaStream_t stream) : stream_(stream) {
    std::string modelCache = modelFile + ".cache";
    std::fstream trtCache(modelCache, std::ifstream::in);
    checkCudaErrors(cudaEventCreate(&start_));
    checkCudaErrors(cuda

http://www.kler.cn/a/298629.html

相关文章:

  • 067B-基于R语言平台Biomod2模型的物种分布建模与数据可视化-高阶课程【2025】
  • Visual studio code编写简单记事本exe笔记
  • conda安装及demo:SadTalker实现图片+音频生成高质量视频
  • 极限学习机 (Extreme Learning Machine, ELM) 算法详解与PyTorch实现
  • python 如何调整word 文档页眉页脚
  • 【顶刊TPAMI 2025】多头编码(MHE)之极限分类 Part 4:MHE表示能力
  • STM32 之 SDRAM 详解
  • jmeter之ForEach控制器使用
  • 【鸿蒙】HarmonyOS NEXT星河入门到实战3-ArkTS界面起步开发
  • 微信小程序:navigateTo跳转无效
  • ICP备案办理的流程中股东附件不显示如何解决
  • uniapp解决页面跳转时,含有base64的数据丢失问题
  • 设计模式 21 策略模式
  • Android 存储之 SharedPreferences 框架体系编码模板
  • 如何在 PyCharm 中导入上级目录(或称为父目录)的模块或包
  • 停车场小程序如何实现分账功能?
  • Unity 摄像机(Camera)详解
  • 牛客小白月赛100(下)
  • 计算机知识科普问答--6 (26-30)
  • 使用lspci命令获取加速卡型号
  • 【编程底层思考】导致Spring事务失效的场景示例与原因分析,以及如何避免事务失效
  • SpringCloud nacos
  • 【Kubernetes知识点问答题】资源配额 / 访问控制
  • 服务器重装系统,数据备份 容器备份
  • vue页面使用自定义字体
  • Mysql基础练习题 1527.患某种疾病的患者 (力扣)