我校学子研制无障碍手语沟通系统实现手语与语音的双向翻译
获iCAN国际创新创业大赛中国总决赛一等奖
本报讯 对于没有学习过手语的人来说，该如何与听力语言障碍者进行交流？当我校计算机学院2016级本科生赖水长同学第一次去到南京秦淮区特殊教育学校开展社会实践时，这个问题在他脑海中蹦了出来。带着“想做一个东西让大家更方便地与聋哑人沟通”的想法，赖水长和同年级的小伙伴一起开始了“希声”项目的开发。
“希声”作为一种无障碍手语沟通系统，功能就像翻译词典实现不同语言间的互译一样，该系统由手机端app和外置双红外摄像头组成，当聋哑人运用手语，如表示“吃饭”时，“希声”系统通过双红外摄像头采集手势图像信息并将其翻译成日常交流的有声语言；当正常人说话时，麦克风采集到语音，利用语音识别技术、数据库匹配，将自然语言翻译成手语图像，也就是让抽象的语言被“看”见，让无声的手语被“听”见。“《道德经》中有‘大音希声大象无形’，我们将系统命名为‘希声’，就是想表达真正的大音是能让听不见声音的人在寂静中感受到温暖，让不懂手语的人也能感受到来自聋哑人心中的绽放的旋律。”赖水长如是说。
项目开展的前期困难重重，为了采集手语动作信息，“希声”团队尝试过手套、臂环等方案，但成本高昂、动作采集精度低以及穿戴不方便等缺陷使他们不得不另辟蹊径。经过几个月的尝试，他们决定使用成本低廉但精度更高的双红外摄像设备作为“希声”的动作采集装置。这一突破使“希声”能比较好地得到手指关节的特征信息。加之深度学习模式的建立和数据分析处理能力的提升，“希声”已经可以实现对部分生活场景，如指路、饭店点单等场景下的对话复现。
在第十二届iCAN国际创新创业大赛中国总决赛中，“希声”从来自全国19个分赛区的450个大学生项目中脱颖而出斩获一等奖，并获得德国国际总决赛入选资格。（学生记者 王浩泽）