1 Star 0 Fork 29

朱代辉 / FastDeploy

forked from PaddlePaddle / FastDeploy 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
how_to_change_backend.md 1.22 KB
一键复制 编辑 原始数据 按行查看 历史
Jason 提交于 2022-10-15 22:01 . Bump up to version 0.3.0 (#371)

如何切换模型推理后端

FastDeploy中各视觉模型可支持多种后端,包括

  • OpenVINO (支持Paddle/ONNX两种格式模型, 仅支持CPU上推理)
  • ONNX Runtime (支持Paddle/ONNX两种格式模型, 支持CPU/GPU)
  • TensorRT (支持Paddle/ONNX两种格式模型,仅支持GPU上推理)
  • Paddle Inference(支持Paddle格式模型, 支持CPU/GPU)

所有模型切换后端方式均通过RuntimeOption进行切换,

Python

import fastdeploy as fd
option = fd.RuntimeOption()

# 切换使用CPU/GPU
option.use_cpu()
option.use_gpu()

# 切换不同后端
option.use_paddle_backend() # Paddle Inference
option.use_trt_backend() # TensorRT
option.use_openvino_backend() # OpenVINO
option.use_ort_backend() # ONNX Runtime

C++

fastdeploy::RuntimeOption option;

// 切换使用CPU/GPU
option.UseCpu();
option.UseGpu();

// 切换不同后端
option.UsePaddleBackend(); // Paddle Inference
option.UseTrtBackend(); // TensorRT
option.UseOpenVINOBackend(); // OpenVINO
option.UseOrtBackend(); // ONNX Runtime

具体示例可参阅FastDeploy/examples/vision下不同模型的python或c++推理代码

更多RuntimeOption的配置方式查阅FastDeploy API文档

Python
1
https://gitee.com/DSDream/FastDeploy.git
git@gitee.com:DSDream/FastDeploy.git
DSDream
FastDeploy
FastDeploy
develop

搜索帮助