科大学生开发革命性手机应用程式 有效翻译手语句子

香港科技大学工学院计算机科学及工程学系叁位应届毕业生开发了一个手机应用程式,可以将中文句子翻译成为手语句子。

这手机程式的突破,在於它可以翻译句子,而一般手语翻译程式只能翻译单字或单词。

这程式将失聪或弱听人士的沟通带到更高层次,对学习手语(特别是手语语法)尤其有用。

科大计算机科学及工程学系副教授麦鑑荣说:「科大一向努力回馈社会,特别是弱势社群,包括听障人士。这项目是个很好的例子。」

「一个近期的调查显示香港有约5万位全聋或听障人士,但只有54位手语翻译员。因此我们需要更多能做手语翻译的人士,而这程式对手语翻译员的训练很有帮助,也方便市民大众与听障人士的沟通。」

这应用程式是三位同学:黎家伟、翁伟超、梁铭方的毕业专题项目。他们首先研究现有的手语翻译应用程式,以及有什麽改良空间。

黎家伟说:「开发这应用程式的最大挑战之一是手语的语法与中文的语法不同。例如,手语中的形容词、副词、数目和发问词一般置於名词後面,而中文一般是置於名词前面。」

翁伟超说:「我们的挑战是设计一个配合手语语法的句子拆解算法。在这基础上,我们使用FFmpeg软件进行录像合成,将各手语片段整合,形成完整句子。」

由於梁铭方懂得手语,很自然就担任了手语录像的主角。「对我来说,这是个难忘的经验。在半年内,我摄录了1700个手语字词。为了使视像效果保持划一化,我每次录像都要穿同一件衣服,并保持同一髮型。虽然有这些限制,我对成果感到非常满意。」

展望将来,叁位同学认为有几方面可以继续改善。黎同学说:「首先,我们可以透过机器学习,收集大量数据,以改善词句拆解的水平。其次,我们认为在影像处理方面可以提升,使词语与词语之间的转接更加顺畅。最後,我们认为长远来说,应该使用电脑动画取代真人录像,以达到更一致的视觉效果。」

(由左) 麦鉴荣教授、学生翁伟超、黎家伟、梁铭方以手语表达「拍手」。
(由左) 麦鉴荣教授、学生翁伟超、黎家伟、梁铭方以手语表达「拍手」。
(由左) 麦鉴荣教授、学生梁铭方、翁伟超、黎家伟展示他们开发的手机应用程式。
(由左) 麦鉴荣教授、学生梁铭方、翁伟超、黎家伟展示他们开发的手机应用程式。

About The Hong Kong University of Science and Technology
The Hong Kong University of Science and Technology (HKUST) (www.ust.hk) is a world-class research university that focuses on science, technology and business as well as humanities and social science.  HKUST offers an international campus, and a holistic and interdisciplinary pedagogy to nurture well-rounded graduates with global vision, a strong entrepreneurial spirit and innovative thinking.  HKUST attained the highest proportion of internationally excellent research work in the Research Assessment Exercise 2014 of Hong Kong’s University Grants Committee, and is ranked as the world’s best young university in Times Higher Education’s Young University Rankings 2019.  Its graduates were ranked 16th worldwide and top in Greater China in Global University Employability Survey 2018.

你可能有兴趣的