昇腾Atlas200DK为AI开发者带来了全新的选择,但对于新手存在上手慢、展现差,对教学存在资源短缺等困难。本项目基于将模型推理与模型应用相分离的机制,将Atlas200DK开发者套件封装为AI推理的黑盒服务,构建了分布式远程推理框架,并提供了多种输入模态、多种输出方式以及多线程支持的高度复用框架,解决了开发板资源稀缺课程受限、环境配置复杂上手困难、缺乏可视化体验不好等痛点问题。141人选课的课程实践表明,该远程推理平台可明显提高深度学习模型推理应用的教学实践效果。
该项目可极大提升了开发板利用效率和推理应用的用户体验,主要特点有:
当前版本为 2.0.2,结合新版开发者套件测试版已完成重要升级,新版统一框架主要特性有:
开发板上用airloader工具一键启动OM模型的推理服务
PC端用Python或C++进行推理应用开发、测试和运行
推理应用可灵活部署于PC端或开发板
分为两端,PC端为应用开发环境,开发板端为离线模型(OM)的ACL运行环境,
PC端:用于推理应用的开发、测试、运行,与ACL完全解耦,特点:仅依赖 Python,配置极为简单。
开发板端:用于OM离线模型的推理,封装ACL开发全部要素,特点:将模型封 装为黑盒,通过网络提供推理服务。
本文档仅针对PC端中的推理应用运行环境配置,是学生开发推理应用仅需依赖的环境。开发板端可由教师或助教来维护,构建方式见Atlas200DK合设迷你镜像1.6GB.
pip 一键安装即完成,支持Windows/MacOS/Linux 跨平台开发,学生只需准备此环境即可。
演示一种平台:下载、安装,python 命令打印包版本号验证安装成功。
python -c 'import inferemote;print(inferemote.__version__)'
超小镜像制卡即完成,支持两代开发板,可由教师或助教准备。
AiRemote超小镜像系统:
演示流程:下载、写卡、网线连接、登陆、查看已启动服务。
此外,亦可在现有系统中自行配置,主要任务:安装AiRemote C++软件包;安装 AiRemote Python软件包;启动示例模型和Applet服务,另见手册文档。
学生只需配置PC端环境,即可开展推理应用开发、测试和运行。本工具包主要内容有:
当前支持 Windows(64位), GNU/Linux(64位)和 MacOS 10.15 (Intel)系统的 Python 3.9.x 环境,可在通用PC和树莓派等嵌入式系统上使用Atlas200DK的远程推理服务。
以下两种方式二选一即可,推荐第一种。
参考网址(https://docs.conda.io/en/latest/miniconda.html)。
Python version Name Size SHA256 hash
Python 3.9 点此下载 Windows 64-bit 58.1 MiB b33797064593ab2229a0135dc69001bea05cb56a20c2f243b1231213642e260a
Windows 安装包下载地址:https://www.python.org/ftp/python/ 下载。 执行安装文件,注意第一步中选择 注册环境变量。
将本项目下载到本地目录,如: D:\airemote
启动 cmd.exe,执行以下命令:
python -V
确认python版本为3.9.x,执行以下相应命令:
pip3.9 install D:\airemote\lib\python3\inferemote-2.0.2-py39-none-win_amd64.whl
安装成功后,执行如下命令应输出 “2.0.2”。
python3.9 -c 'import inferemote;print(inferemote.__version__)
适用于 Ubuntu/CentOS/openEuler 等常见操作系统,以及树莓派平台。
以下两种方式二选一即可,推荐第一种。
Python version Name Size SHA256 hash
Python 3.9 点此下载 Linux 64-bit 63.6 MiB 1ea2f885b4dbc3098662845560bc64271eb17085387a70c2ba3f29fff6f8d52f
Python 3.7 点此下载 Linux-aarch64 64-bit 89.2 MiB 65f400a906e3132ddbba35a38d619478be77d32210a2acab05133d92ba08f111
Linux 安装包下载地址:https://www.python.org/ftp/python/ 下载安装。 按文档说明进行编译安装,添加路径环境变量。
将本项目下载到本地目录,如: ~/airemote
进入shell,执行以下命令:
python -V
根据版本,执行以下相应命令:
pip3.9 install ~/airemote/lib/python3/inferemote-2.0.2-py39-none-linux_x86_64.whl
python3.9 -c 'import inferemote;print(inferemote.__version__)
请参照上述 GNU/Linux 的安装方式。
pip3.9 install ~/airemote/lib/python3/inferemote-2.0.1-py39-none-macosx_10_15_universal.whl
python3.9 -c 'import inferemote;print(inferemote.__version__)
以下为 Windows 平台运行示例。
cd D:\airemote\python
python styletransfer\test.py -r tcp://IP:port -m show -w 3 -I camera
python styletransfer\test.py -r tcp://IP:port -m show -w 3 -i D:\test.jpg
python styletransfer\test.py -r tcp://IP:port -m show -w 3 -i D:\test_pictures
python styletransfer\test.py -h
如需制作支持以上远程推理的开发板系统,请参考: https://gitee.com/haojiash/airemote/tree/master/sdcard
欢迎提交issue,并参与更多实践案例移植和分享。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。