forked from PaddlePaddle / PaddleSeg

加入 Gitee

与超过 1200万开发者一起发现、参与优秀开源项目，私有仓库也完全免费：）

克隆/下载

infer_benchmark_cn.md 3.13 KB

简体中文 | [English](infer_benchmark.md)
# 推理 Benchmark

测试环境：
* GPU: V100 32G
* CPU: Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz
* CUDA: 10.1
* cuDNN: 7.6
* TensorRT: 6.0.1.5
* Paddle: 2.1.1

GPU上分割模型的测试方法:
1. 使用cityspcaes的全量验证数据集(1024x2048)进行测试
2. 单GPU，Batchsize为1
3. 运行耗时为纯模型预测时间
4. 使用Paddle Inference的[Python API](./python_inference.md)测试，通过use_trt参数设置是否使用TRT，使用precision参数设置预测类型

GPU上推理Benchmark：

|       模型                |  使用TRT   |   预测类型  |  mIoU  |   耗时(s/img)   |
|        -                 |   :-:      |   :-:     |   :-:   |   :-:           |
| ANN_ResNet50_OS8         |   N        |    FP32    |  0.7909  |  0.274  |  
| ANN_ResNet50_OS8         |   Y        |    FP32    |  0.7909  |  0.281  |
| ANN_ResNet50_OS8         |   Y        |    FP16    |  0.7909  |  0.168  |
| ANN_ResNet50_OS8         |   Y        |    INT8    |  0.7906  |  0.195  |
| DANet_ResNet50_OS8         |   N        |    FP32    |  0.8027  |  0.371  |  
| DANet_ResNet50_OS8         |   Y        |    FP32    |  0.8027  |  0.330  |
| DANet_ResNet50_OS8         |   Y        |    FP16    |  0.8027  |  0.183  |
| DANet_ResNet50_OS8         |   Y        |    INT8    |  0.8039  |  0.266  |
| DeepLabV3P_ResNet50_OS8         |   N        |    FP32    |  0.8036  | 0.165  |  
| DeepLabV3P_ResNet50_OS8         |   Y        |    FP32    |  0.8036  | 0.206  |
| DeepLabV3P_ResNet50_OS8         |   Y        |    FP16    |  0.8036  | 0.196  |
| DeepLabV3P_ResNet50_OS8         |   Y        |    INT8    |  0.8044  | 0.083  |
| DNLNet_ResNet50_OS8         |   N        |    FP32    |  0.7995  |  0.381  |  
| DNLNet_ResNet50_OS8         |   Y        |    FP32    |  0.7995  |  0.360  |
| DNLNet_ResNet50_OS8         |   Y        |    FP16    |  0.7995  |  0.230  |
| DNLNet_ResNet50_OS8         |   Y        |    INT8    |  0.7989  |  0.236  |
| EMANet_ResNet50_OS8         |   N        |    FP32    |  0.7905  |  0.208  |  
| EMANet_ResNet50_OS8         |   Y        |    FP32    |  0.7905  |  0.186  |
| EMANet_ResNet50_OS8         |   Y        |    FP16    |  0.7904  |  0.062  |
| EMANet_ResNet50_OS8         |   Y        |    INT8    |  0.7939  |  0.106  |
| GCNet_ResNet50_OS8         |   N        |    FP32    |  0.7950  |  0.247  |  
| GCNet_ResNet50_OS8         |   Y        |    FP32    |  0.7950  |  0.228  |
| GCNet_ResNet50_OS8         |   Y        |    FP16    |  0.7950  |  0.100  |
| GCNet_ResNet50_OS8         |   Y        |    INT8    |  0.7959  |  0.144  |
| PSPNet_ResNet50_OS8         |   N        |    FP32    |  0.7883 | 0.327  |
| PSPNet_ResNet50_OS8         |   Y        |    FP32    |  0.7883 | 0.324  |
| PSPNet_ResNet50_OS8         |   Y        |    FP16    |  0.7883 | 0.218  |
| PSPNet_ResNet50_OS8         |   Y        |    INT8    |  0.7915 | 0.223  |
| UNet         |   N        |    FP32    |  0.6500  |  0.071  |  
| UNet         |   Y        |    FP32    |  0.6500  |  0.099  |
| UNet         |   Y        |    FP16    |  0.6500  |  0.099  |
| UNet         |   Y        |    INT8    |  0.6503  |  0.099  |

一键复制原始数据按行查看历史

提交于 2022-11-29 17:23 . [Doc][Fix]Refine train, predict and evaluate docs for release 2.7 (#2780)

简体中文 | English

推理 Benchmark

测试环境：

GPU: V100 32G
CPU: Intel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz
CUDA: 10.1
cuDNN: 7.6
TensorRT: 6.0.1.5
Paddle: 2.1.1

GPU上分割模型的测试方法:

使用cityspcaes的全量验证数据集(1024x2048)进行测试
单GPU，Batchsize为1
运行耗时为纯模型预测时间
使用Paddle Inference的Python API测试，通过use_trt参数设置是否使用TRT，使用precision参数设置预测类型

GPU上推理Benchmark：

模型	使用TRT	预测类型	mIoU	耗时(s/img)
ANN_ResNet50_OS8	N	FP32	0.7909	0.274
ANN_ResNet50_OS8	Y	FP32	0.7909	0.281
ANN_ResNet50_OS8	Y	FP16	0.7909	0.168
ANN_ResNet50_OS8	Y	INT8	0.7906	0.195
DANet_ResNet50_OS8	N	FP32	0.8027	0.371
DANet_ResNet50_OS8	Y	FP32	0.8027	0.330
DANet_ResNet50_OS8	Y	FP16	0.8027	0.183
DANet_ResNet50_OS8	Y	INT8	0.8039	0.266
DeepLabV3P_ResNet50_OS8	N	FP32	0.8036	0.165
DeepLabV3P_ResNet50_OS8	Y	FP32	0.8036	0.206
DeepLabV3P_ResNet50_OS8	Y	FP16	0.8036	0.196
DeepLabV3P_ResNet50_OS8	Y	INT8	0.8044	0.083
DNLNet_ResNet50_OS8	N	FP32	0.7995	0.381
DNLNet_ResNet50_OS8	Y	FP32	0.7995	0.360
DNLNet_ResNet50_OS8	Y	FP16	0.7995	0.230
DNLNet_ResNet50_OS8	Y	INT8	0.7989	0.236
EMANet_ResNet50_OS8	N	FP32	0.7905	0.208
EMANet_ResNet50_OS8	Y	FP32	0.7905	0.186
EMANet_ResNet50_OS8	Y	FP16	0.7904	0.062
EMANet_ResNet50_OS8	Y	INT8	0.7939	0.106
GCNet_ResNet50_OS8	N	FP32	0.7950	0.247
GCNet_ResNet50_OS8	Y	FP32	0.7950	0.228
GCNet_ResNet50_OS8	Y	FP16	0.7950	0.100
GCNet_ResNet50_OS8	Y	INT8	0.7959	0.144
PSPNet_ResNet50_OS8	N	FP32	0.7883	0.327
PSPNet_ResNet50_OS8	Y	FP32	0.7883	0.324
PSPNet_ResNet50_OS8	Y	FP16	0.7883	0.218
PSPNet_ResNet50_OS8	Y	INT8	0.7915	0.223
UNet	N	FP32	0.6500	0.071
UNet	Y	FP32	0.6500	0.099
UNet	Y	FP16	0.6500	0.099
UNet	Y	INT8	0.6503	0.099

Python

1

https://gitee.com/zhangdelight/PaddleSeg.git

git@gitee.com:zhangdelight/PaddleSeg.git

zhangdelight

PaddleSeg

PaddleSeg

release/2.8