1 Star 0 Fork 29

rostiute丶 / FastDeploy

forked from PaddlePaddle / FastDeploy 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
cpu.md 3.20 KB
一键复制 编辑 原始数据 按行查看 历史
Jason 提交于 2022-11-14 20:50 . polish build docs

CPU部署库编译

FastDeploy当前在CPU支持后端引擎如下

后端 平台 支持模型格式 说明
Paddle Inference Windows(x64)
Linux(x64)
Paddle 编译开关ENABLE_PADDLE_BACKEND为ON或OFF控制, 默认OFF
ONNX Runtime Windows(x64)
Linux(x64/aarch64)
Mac(x86/arm64)
Paddle/ONNX 编译开关ENABLE_ORT_BACKEND为ON或OFF控制,默认OFF
OpenVINO Windows(x64)
Linux(x64)
Mac(x86)
Paddle/ONNX 编译开关ENABLE_OPENVINO_BACKEND为ON或OFF控制,默认OFF

C++ SDK编译安装

Linux & Mac

Linux上编译需满足

  • gcc/g++ >= 5.4(推荐8.2)
  • cmake >= 3.18.0
git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy
mkdir build && cd build
cmake .. -DENABLE_ORT_BACKEND=ON \
         -DENABLE_PADDLE_BACKEND=ON \
         -DENABLE_OPENVINO_BACKEND=ON \
         -DCMAKE_INSTALL_PREFIX=${PWD}/compiled_fastdeploy_sdk \
         -DENABLE_VISION=ON \
         -DENABLE_TEXT=ON
make -j12
make install

Windows

Windows编译需要满足条件

  • Windows 10/11 x64
  • Visual Studio 2019

在Windows菜单中,找到x64 Native Tools Command Prompt for VS 2019打开,执行如下命令

git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy
mkdir build && cd build
cmake .. -G "Visual Studio 16 2019" -A x64 ^
         -DENABLE_ORT_BACKEND=ON ^
         -DENABLE_PADDLE_BACKEND=ON ^
         -DENABLE_OPENVINO_BACKEND=ON ^
         -DENABLE_VISION=ON ^
         -DENABLE_TEXT=ON ^
         -DCMAKE_INSTALL_PREFIX="D:\Paddle\compiled_fastdeploy" ^
msbuild fastdeploy.sln /m /p:Configuration=Release /p:Platform=x64
msbuild INSTALL.vcxproj /m /p:Configuration=Release /p:Platform=x64

编译完成后,即在CMAKE_INSTALL_PREFIX指定的目录下生成C++推理库

如您使用CMake GUI可参考文档Windows使用CMakeGUI + Visual Studio 2019 IDE编译

Python编译安装

编译过程同样需要满足

  • gcc/g++ >= 5.4(推荐8.2)
  • cmake >= 3.18.0
  • python >= 3.6

Python打包依赖wheel,编译前请先执行pip install wheel

所有编译选项通过环境变量导入

Linux & Mac

git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy/python
export ENABLE_ORT_BACKEND=ON
export ENABLE_PADDLE_BACKEND=ON
export ENABLE_OPENVINO_BACKEND=ON
export ENABLE_VISION=ON
export ENABLE_TEXT=ON

python setup.py build
python setup.py bdist_wheel

Windows

编译过程同样需要满足

  • Windows 10/11 x64
  • Visual Studio 2019
  • python >= 3.6

在Windows菜单中,找到x64 Native Tools Command Prompt for VS 2019打开,执行如下命令

git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy/python
set ENABLE_ORT_BACKEND=ON
set ENABLE_PADDLE_BACKEND=ON
set ENABLE_OPENVINO_BACKEND=ON
set ENABLE_VISION=ON
set ENABLE_TEXT=ON

python setup.py build
python setup.py bdist_wheel

编译完成即会在FastDeploy/python/dist目录下生成编译后的wheel包,直接pip install即可

编译过程中,如若修改编译参数,为避免带来缓存影响,可删除FastDeploy/python目录下的build.setuptools-cmake-build两个子目录后再重新编译

Python
1
https://gitee.com/Vivi48432/FastDeploy.git
git@gitee.com:Vivi48432/FastDeploy.git
Vivi48432
FastDeploy
FastDeploy
develop

搜索帮助