背景

近年来，随着机器人技术和人工智能技术的发展，各类智能机器人不断出现，在教育、养老、金融、安防等领域为人类提供多样化服务，市场规模持续高速增长，特别是新冠肺炎疫情进一步激发了服务机器人市场。智能机器人已纳入《新一代人工智能发展规划》等国家科技发展战略，成为我国人工智能产业的重要组成部分和未来发展方向。视觉系统旨在使机器像人一样具备观察和理解事物的能力，是机器人感知外界环境和用户的最重要的信息获取途径，是机器人与用户和环境进行交互，进而完成特定任务的重要基础，成为智能机器人的不可或缺的重要组成部分。 机器视觉系统可以采集外部图像信息，模拟人脑完成重要信息的提取并加以分析，实现对目标物体的识别、定位以及对工作场景进行理解，提升机器人面对外部变化环境的自适应能力，增强机器人面对复杂环境的感知和决策能力。对机器人视觉关键技术进行研究，有助于实现机器视觉由低层视觉任务到更高层视觉任务的发展，进一步提升机器人的智能化程度，助推我国人工智能产业的升级，具有重要的理论与现实意义。

在此背景下，昇思MindSpore机器人视觉专项兴趣小组（简称：机器人视觉SIG）正式成立，并面向开源社区招募志同道合的伙伴。

机器人视觉 SIG的使命

机器人视觉SIG致力于机器人视觉关键技术研究，结合昇思MindSpore框架，开发精准、高效的机器人视觉算法模型。

小组重点工作方向：

• 情感计算：对情感计算关键技术进行研究，主要包括单帧表情图像识别、视频表情识别、情感极性与程度分析、融合语言信息（文本、语音）与非语言信息（面部表情、身体位置、头部姿态）的多模态多维度情感分析等，以实现情感状态的自动分析，提升用户与机器人之间的交互体验，为智能情感化交互机器人开发提供智能解决方案。

• 动作识别：对动作识别关键技术进行研究，主要包括视频动作定位、时序动作检测、在线动作识别、动作预测等，以克服传统人机交互自由度低、操作不灵活等缺陷，使机器人能更加实时理解人的动作意图，提升人机交互的体验和效率，助推机器人智能个性化交互。

• 场景理解：对场景理解关键技术进行研究，主要包括场景分类、目标（人体、人脸等）检测、语义分割、全景分割等，以克服人类情感和表达模糊多样对场景理解的困扰，突破机器人多模态场景认知难题。

• 视觉问答：对视觉问答关键技术进行研究，主要包括多模态特征提取与交互融合、知识推理、图片问答与对话、视频问答与对话等，为视觉问答提供更加高效、智能解决方案，以克服不同模态信息间的高度异质性，推进跨模态人机交互，推动机器人智能化进程。

• 模型压缩：对模型压缩关键技术进行研究，主要包括网络剪枝、知识蒸馏、参数量化、架构设计、动态计算等，以设计轻量化多分支网络结构，实现深度模型的高效压缩与加速，为智能机器人平台提供轻量、高效的算法模型。

机器人视觉SIG工作计划

• 初期：小组前期主要以成员学术交流活动为主，每月组织线上或线下交流活动，围绕动作识别技术、视觉问答技术、情感计算技术、模型压缩技术、场景理解技术等机器人视觉的关键问题展开讨论，介绍国内外最新研究工作的进展，讨论并解决研究工作中的难点。

• 中期：通过合作开发等模式，在国内高校及企业间开展机器人视觉相关技术研究。

• 后期：通过任务揭榜、申请项目或参加竞赛等模式，在全球范围内开展机器人视觉技术的合作研究，推动机器人产业高质量发展。

机器人视觉SIG人员构成

领衔成员：

组长、负责人：孙斌 工学博士，湖南大学电气与信息工程学院副教授，博士生导师，主要研究方向为图像处理、模式识别、人机交互以及智能系统理论与应用，依托机器人视觉感知与控制技术国家工程研究中心，在王耀南院士、李树涛教授团队主要从事机器视觉、多模态信息智能处理、机器人自然交互等方面的教学与科研工作。近年来先后主持国防重点项目课题1项，国家自然科学基金面上和青年项目各1项，湖南省自然科学基金项目2项，作为研究骨干参与国家自然科学基金重大项目、国家重点研发和国际合作重点项目研究工作，研究成果在IEEE TIP，TNNLS，TAFFC，TGRS， Science China: Information Sciences等国内外高水平学术期刊和会议上发表论文30余篇，授权发明专利20项，在AAAI、ACM MM、ACL、ICLR等人工智能领域国内外高水平会议中获得竞赛冠军19项，研究成果在苏州博众机器人、湖南超能机器人、中南大学湘雅医院等企事业单位取得成功应用，取得了良好的社会和经济效益。2019年获得湖南大学首届“杰出博士后”称号，2022获得湖南省自然科学基金优秀青年项目资助。

副组长：李庆鹏 工学博士，湖南大学机器人视觉感知与控制技术国家工程研究中心副研究员、硕士生导师。2018年在德国慕尼黑工业大学信号处理与对地观测中心访问学习。2019 年北京航空航天大学计算机科学与技术专业博士毕业。2019-2021 年在国家烟草专卖局从事全国烟叶信息化主管工作。2021 年工作调动至湖南大学，目前在机器人视觉感知与控制技术国家工程研究中心王耀南院士、李树涛教授团队主要从事计算机视觉、多源融合感知、智能机器人系统等方面的教学科研工作。主持国家自然科学基金青年项目、湖南省自然科学基金青年项目各1项，中央高校基本科研基金项目1项，校企横向课题2项；作为骨干参与国防科技创新特区重点项目1项。参与国家自然科学基金面上项目2 项、国家自然科学基金重点项目1项，参与军工企业和军队横向课题多项。作为第一作者和通信作者在 IEEE TGRS、GRSL、ICASSP等国际期刊会议发表论文多篇，授权发明专利5项。长期担任 IEEE TGRS、TVT、TITS、GRSL、ISPRS Journal 等国际顶级期刊会议审稿人。2022年获评教育部-华为智能基座“栋梁之师”称号。入选湖南大学2022年度优秀青年教师“托举计划”。

小组成员：

01、成员：苑玉杰， 昇思MindSpore布道师

02、成员：马付严，湖南大学电气与信息工程学院，博士生

03、成员：李 宾，湖南大学电气与信息工程学院，博士生

04、成员：郭 虎，湖南大学电气与信息工程学院，博士生

05、成员：卢伟清，湖南大学电气与信息工程学院，博士生

06、成员：李希亮，湖南大学电气与信息工程学院，博士生

07、成员：司素勇，湖南大学电气与信息工程学院，硕士生

08、成员：廖美祺，湖南大学电气与信息工程学院，硕士生

09、成员：张雨鑫，湖南大学机器人学院，硕士生

10、成员：袁冬琴，湖南大学机器人学院，硕士生