同步操作将从 PaddlePaddle/FastDeploy 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
English | 中文
在FastDeploy里面新增一个模型,包括增加C++/Python的部署支持。 本文以YOLOv7Face模型为例,介绍使用FastDeploy做外部模型集成,具体包括如下3步。
步骤 | 说明 | 创建或修改的文件 |
---|---|---|
1 | 在fastdeploy/vision相应任务模块增加模型实现 | yolov7face.h、yolov7face.cc、preprocessor.h、preprocess.cc、postprocessor.h、postprocessor.cc、vision.h |
2 | 通过pybind完成Python接口绑定 | yolov7face_pybind.cc |
3 | 实现Python相应调用接口 | yolov7face.py、__init__.py |
在完成上述3步之后,一个外部模型就集成好了。
如果您想为FastDeploy贡献代码,还需要为新增模型添加测试代码、说明文档和代码注释,可在测试中查看。
在集成外部模型之前,先要将训练好的模型(.pt,.pdparams 等)转换成FastDeploy支持部署的模型格式(.onnx,.pdmodel)。多数开源仓库会提供模型转换脚本,可以直接利用脚本做模型的转换。例如yolov7face官方库提供的export.py文件, 若官方库未提供转换导出文件,则需要手动编写转换脚本,如torchvision没有提供转换脚本,因此手动编写转换脚本,下文中将 torchvison.models.resnet50
转换为 resnet50.onnx
,参考代码如下:
import torch
import torchvision.models as models
model = models.resnet50(pretrained=True)
batch_size = 1 #批处理大小
input_shape = (3, 224, 224) #输入数据,改成自己的输入shape
model.eval()
x = torch.randn(batch_size, *input_shape) # 生成张量
export_onnx_file = "resnet50.onnx" # 目的ONNX文件名
torch.onnx.export(model,
x,
export_onnx_file,
opset_version=12,
input_names=["input"], # 输入名
output_names=["output"], # 输出名
dynamic_axes={"input":{0:"batch_size"}, # 批处理变量
"output":{0:"batch_size"}})
执行上述脚本将会得到 resnet50.onnx
文件。
preprocessor.h
文件
Run
、preprocess
、LetterBox
和构造函数
,以及必要的变量及其set
和get
方法,具体的代码细节请参考preprocess.h。class FASTDEPLOY_DECL Yolov7FacePreprocessor {
public:
Yolov7FacePreprocessor(...);
bool Run(...);
protected:
bool Preprocess(...);
void LetterBox(...);
};
preprocessor.cc
文件
preprocessor.cc
中实现preprocessor.h
中声明函数的具体逻辑,其中Preprocess
需要参考源官方库的前后处理逻辑复现,preprocessor每个函数具体逻辑如下,具体的代码请参考preprocessor.cc。Yolov7FacePreprocessor::Yolov7FacePreprocessor(...) {
// 构造函数逻辑
// 全局变量赋值
}
bool Yolov7FacePreprocessor::Run() {
// 执行前处理
// 根据传入图片数量对每张图片进行处理,通过循环的方式将每张图片传入Preprocess函数进行预处理,
// 即Preprocess为处理单元,Run方法为每张图片调用处理单元处理
return true;
}
bool Yolov7FacePreprocessor::Preprocess(FDMat* mat, FDTensor* output,
std::map<std::string, std::array<float, 2>>* im_info) {
// 前处理逻辑
// 1. LetterBox 2. convert and permute 3. 处理结果存入 FDTensor类中
return true;
}
void Yolov7FacePreprocessor::LetterBox(FDMat* mat) {
//LetterBox
return true;
}
postprocessor.h
文件
Run
和构造函数
,以及必要的变量及其set
和get
方法,具体的代码细节请参考postprocessor.h。class FASTDEPLOY_DECL Yolov7FacePostprocessor {
public:
Yolov7FacePostprocessor(...);
bool Run(...);
};
postprocessor.cc
文件
postprocessor.cc
中实现postprocessor.h
中声明函数的具体逻辑,其中Postprocess
需要参考源官方库的前后处理逻辑复现,postprocessor每个函数具体逻辑如下,具体的代码请参考postprocessor.cc。Yolov7FacePostprocessor::Yolov7FacePostprocessor(...) {
// 构造函数逻辑
// 全局变量赋值
}
bool Yolov7FacePostprocessor::Run() {
// 后处理逻辑
// 1. Padding 2. Choose box by conf_threshold 3. NMS 4. 结果存入 FaceDetectionResult类
return true;
}
yolov7face.h
文件
Predict
、BatchPredict
、Initialize
和构造函数
,以及必要的变量及其get
方法,具体的代码细节请参考yolov7face.h。class FASTDEPLOY_DECL YOLOv7Face : public FastDeployModel {
public:
YOLOv7Face(...);
virtual bool Predict(...);
virtual bool BatchPredict(...);
protected:
bool Initialize();
Yolov7FacePreprocessor preprocessor_;
Yolov7FacePostprocessor postprocessor_;
};
yolov7face.cc
文件
yolov7face.cc
中实现yolov7face.h
中声明函数的具体逻辑,YOLOv7Face每个函数具体逻辑如下,具体的代码请参考yolov7face.cc。YOLOv7Face::YOLOv7Face(...) {
// 构造函数逻辑
// 1. 指定 Backend 2. 设置RuntimeOption 3. 调用Initialize()函数
}
bool YOLOv7Face::Initialize() {
// 初始化逻辑
// 1. 全局变量赋值 2. 调用InitRuntime()函数
return true;
}
bool YOLOv7Face::Predict(const cv::Mat& im, FaceDetectionResult* result) {
std::vector<FaceDetectionResult> results;
if (!BatchPredict({im}, &results)) {
return false;
}
*result = std::move(results[0]);
return true;
}
// Predict是对单张图片进行预测,通过将含有一张图片的数组送入BatchPredict实现
bool YOLOv7Face::BatchPredict(const std::vector<cv::Mat>& images, std::vector<FaceDetectionResult>* result) {
Preprocess(...)
Infer(...)
Postprocess(...)
return true;
}
// BatchPredict为对批量图片进行预测,接收一个含有若干张图片的动态数组vector
vision.h
文件中加入新增模型文件
#ifdef ENABLE_VISION
#include "fastdeploy/vision/facedet/contrib/yolov7face.h"
#endif
void BindYOLOv7Face(pybind11::module& m) {
pybind11::class_<vision::facedet::YOLOv7Face, FastDeployModel>(
m, "YOLOv7Face")
.def(pybind11::init<std::string, std::string, RuntimeOption, ModelFormat>())
.def("predict", ...)
.def("batch_predict", ...)
.def_property_readonly("preprocessor", ...)
.def_property_readonly("postprocessor", ...);
pybind11::class_<vision::facedet::Yolov7FacePreprocessor>(
m, "Yolov7FacePreprocessor")
.def(pybind11::init<>())
.def("run", ...)
.def_property("size", ...)
.def_property("padding_color_value", ...)
.def_property("is_scale_up", ...);
pybind11::class_<vision::facedet::Yolov7FacePostprocessor>(
m, "Yolov7FacePostprocessor")
.def(pybind11::init<>())
.def("run", ...)
.def_property("conf_threshold", ...)
.def_property("nms_threshold", ...);
}
void BindYOLOv7Face(pybind11::module& m);
void BindFaceDet(pybind11::module& m) {
auto facedet_module =
m.def_submodule("facedet", "Face detection models.");
BindYOLOv7Face(facedet_module);
}
yolov7face.py
文件
\_\_init\_\_
、Pybind绑定的函数(如predict()
)、以及对Pybind绑定的全局变量进行赋值和获取的函数
,具体代码请参考yolov7face.py。class YOLOv7Face(FastDeployModel):
def __init__(self, ...):
self._model = C.vision.facedet.YOLOv7Face(...)
def predict(self, input_image):
return self._model.predict(input_image)
def batch_predict(self, images):
return self._model.batch_predict(images)
@property
def preprocessor(self):
return self._model.preprocessor
@property
def postprocessor(self):
return self._model.postprocessor
class Yolov7FacePreprocessor():
def __init__(self, ...):
self._model = C.vision.facedet.Yolov7FacePreprocessor(...)
def run(self, input_ims):
return self._preprocessor.run(input_ims)
@property
def size(self):
return self._preprocessor.size
@property
def padding_color_value(self):
return self._preprocessor.padding_color_value
...
class Yolov7FacePreprocessor():
def __init__(self, ...):
self._model = C.vision.facedet.Yolov7FacePostprocessor(...)
def run(self, ...):
return self._postprocessor.run(...)
@property
def conf_threshold(self):
return self._postprocessor.conf_threshold
@property
def nms_threshold(self):
return self._postprocessor.nms_threshold
...
from .contrib.yolov7face import *
mkdir build & cd build
cmake .. -DENABLE_ORT_BACKEND=ON -DENABLE_VISION=ON -DCMAKE_INSTALL_PREFIX=${PWD/fastdeploy-0.0.3
-DENABLE_PADDLE_BACKEND=ON -DENABLE_TRT_BACKEND=ON -DWITH_GPU=ON -DTRT_DIRECTORY=/PATH/TO/TensorRT/
make -j8
make install
编译会得到 build/fastdeploy-0.0.3/。
export TRT_DIRECTORY=/PATH/TO/TensorRT/ # 如果用TensorRT 需要填写TensorRT所在位置,并开启 ENABLE_TRT_BACKEND
export ENABLE_TRT_BACKEND=ON
export WITH_GPU=ON
export ENABLE_PADDLE_BACKEND=ON
export ENABLE_OPENVINO_BACKEND=ON
export ENABLE_VISION=ON
export ENABLE_ORT_BACKEND=ON
python setup.py build
python setup.py bdist_wheel
cd dist
pip install fastdeploy_gpu_python-版本号-cpxx-cpxxm-系统架构.whl
.
├── cpp
│ ├── CMakeLists.txt
│ ├── infer.cc // C++ 版本测试代码
│ └── README.md // C++版本使用文档
├── python
│ ├── infer.py // Python 版本测试代码
│ └── README.md // Python版本使用文档
└── README.md // ResNet 模型集成说明文档
mkdir build & cd build
cmake .. -DFASTDEPLOY_INSTALL_DIR=/PATH/TO/FastDeploy/build/fastdeploy-0.0.3/
make
为了方便用户理解代码,我们需要为新增代码添加注释,添加注释方法可参考如下示例。
/** \brief Predict for the input "im", the result will be saved in "result".
*
* \param[in] im Input image for inference.
* \param[in] result Saving the inference result.
*/
virtual bool Predict(const cv::Mat& im, FaceDetectionResult* result);
/// Tuple of (width, height)
std::vector<int> size;
/*! @brief Initialize for YOLOv7Face model, assign values to the global variables and call InitRuntime()
*/
bool Initialize();
def predict(self, input_image):
"""Detect the location and key points of human faces from an input image
:param input_image: (numpy.ndarray)The input image data, 3-D array with layout HWC, BGR format
:return: FaceDetectionResult
"""
return self._model.predict(input_image)
对于集成模型过程中的其他文件,您也可以对实现的细节添加适当的注释说明。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。