王娜娜和黄爽,是北京航空航天大学和清华大学的一年级研究生,一个23岁,一个22岁。和许多这个年纪的女孩不同,她俩并不热衷梳妆打扮,也很少关注流行的影视剧、偶像明星。大约两年前,她们开始用业余时间,为失语者群体,研究一款直接将手语转化成语音的翻译臂环。
两名90后女生决心帮助失语者群体
两年前,读大三的王娜娜结识了聋人朋友张权。因为不懂手语,即使当面交流,她也不得不用微信打字。明明是现实中的朋友,相处起来却更像网友。特别当许多人一起聊天时,她更为无声世界中的张权感到抱歉,担心自己说话,是不是忽略、伤害了他?当时,计算机专业的王娜娜,正在实验室里研究基于图像的手势识别技术。她想,手语也是有一定规则的手势,是不是可以用摄像头识别,转化成语音,打破无声到有声的隔阂?
王娜娜:
“黄爽就跟我说,用摄像头去做不现实,在大街上谁帮失语者拿摄像头?”
黄爽是王娜娜的本科室友。这次交谈前,王娜娜已经为翻译手语忙了八、九个月。听到“闺蜜”几乎从根本上否定自己的研究,王娜娜不但没有生气,反而感到庆幸。她说,自己一直在沿着技术逻辑推进,却忽略了最重要的部分——如何才能让失语者使用。
从钢琴指法得到启发把手语转化成语音
王娜娜:
“后来我看家里的小朋友,学弹钢琴,老师说手指该用力的时候,小朋友没用力。我就问老师这怎么能看出来的,老师说看肌肉的用力情况,肌肉没有动指法肯定不对。这点提醒了我,我就上网查,有一种研究是戴着一个臂环来判断小朋友的指法正确不正确,我立马就想到了手语。”
不同的手指动作,会触动不同区域的小臂肌肉,发出不一样的肌肉电信号。受益于钢琴臂环的启发,王娜娜和黄爽打算也应用这项技术:将每个手语词汇的肌肉电信号录入系统,让人工智能深度学习,再次遇见时,识别和转化成语音,应该并不难。在运动手环、智能手表普及的今天,佩戴臂环,也不会让失语者显得突兀。然而,想让电脑准确识别一个手势动作,需要反复采集肌肉电信号上千次。