1 Star 0 Fork 13

怪盗基德 / PaddleSlim

forked from PaddlePaddle / PaddleSlim 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
embedding_quant_tutorial.md 742 Bytes
一键复制 编辑 原始数据 按行查看 历史
whs 提交于 2021-02-09 10:56 . Refine index of docs (#658)

Embedding量化

Embedding量化将网络中的Embedding参数从float32类型量化到 8-bit整数类型,在几乎不损失模型精度的情况下减少模型的存储空间和显存占用。

Embedding量化仅能减少模型参数的体积,并不能显著提升模型预测速度。

使用方法

在预测时调用paddleslim quant_embedding接口,主要实现代码如下:

import paddleslim
place = paddle.CUDAPlace(0) if use_cuda else paddle.CPUPlace()
exe = paddle.static.Executor(place)
main_program = paddleslim.quant.quant_embedding(main_program, place, config)

详细代码与例程请参考:Embedding量化

Python
1
https://gitee.com/Tarry-Liuf/PaddleSlim.git
git@gitee.com:Tarry-Liuf/PaddleSlim.git
Tarry-Liuf
PaddleSlim
PaddleSlim
develop

搜索帮助