科技大学工学院计算机科学及工程学系三位应届毕业生开发了一个手机应用程式,可以将中文句子翻译成为手语句子。这手机程式的突破,在于它可以翻译句子,而一般手语翻译程式只能翻译单字或单词。这程式将失聪或弱听人士的沟通带到更高层次,对学习手语(特别是手语语法)尤其有用。
本报港闻部报道
科大计算机科学及工程学系副教授麦鑑荣说:「科大一向努力回馈社会,特别是弱势社群,包括听障人士。这项目是个很好的例子。一个近期的调查显示香港有约五万位全聋或听障人士,但只有54位手语翻译员。因此我们需要更多能做手语翻译的人士,而这程式对手语翻译员的训练很有帮助,也方便市民大众与听障人士的沟通。」
录像将各手语片段整合
这应用程式是三位学生黎家伟、翁伟超、梁铭方的毕业专题项目。他们首先研究现有的手语翻译应用程式,以及有甚么改良空间。
黎家伟说:「开发这应用程式的最大挑战之一是手语的语法与中文的语法不同。例如,手语中的形容词、副词、数目和发问词一般置于名词后面,而中文一般是置于名词前面。」翁伟超表示:「我们的挑战是设计一个配合手语语法的句子拆解算法。在这基础上,我们使用FFmpeg软件进行录像合成,将各手语片段整合,形成完整句子。」
半年摄录1700手语字词
由于梁铭方懂得手语,很自然就担任了手语录像的主角。她表示:「对我来说,这是个难忘的经验。在半年内,我摄录了1,700个手语字词。为了使视像效果保持划一化,我每次录像都要穿同一件衣服,并保持同一髮型。虽然有这些限制,我对成果感到非常满意。」
展望将来,三名学生认为有几方面可以继续改善。黎家伟称:「首先,我们可以透过机器学习,收集大量数据,以改善词句拆解的水平。其次,我们认为在影像处理方面可以提升,使词语与词语之间的转接更加顺畅。最后,我们认为长远来说,应该使用电脑动画取代真人录像,以达到更一致的视觉效果。」 |