透過MetaHKUST解決延展實境的技術和社會問題

擴增及虛擬實境技術的崛起開拓了沉浸式學習的數碼世界。香港科技大學（科大）將致力對此作出貢獻，並提醒人們關注發展這些技術時所衍生的社會問題。

想像一下在虛擬演講廳裡上課的情境，演講廳內全是虛擬化身，包括講者的和你自己的。想像一下教授在實體教室內向100名學生打招呼，其中50名親自出席；另外50名在虛擬環境中出現，但真身卻位於約100公里外的校園。這些場景或許頗富超現實的未來感，但在教育領域實現類似的全面虛擬¹和混合實境²環境已是指日可待，初步試驗更已在科大的開創性延展實境³倡議「MetaHKUST」中開展。

而這只是工程學和新興技術下一段精彩旅程的開始。預期至本年年底，科大3D虛擬教室內的虛擬化身將更形精細，能呈現學生和教授本人的面部特徵和舉止，還可以像真人一樣作出實時反應。虛擬教室的外觀也將進一步提升，容量會增至200名或以上使用者。在未來三年內，科大和最近在廣州南沙開校的港科大（廣州）將分別開設一間實體教室，配備最先進的傳感器和動作捕捉攝影機，以應對技術難度更高的混合實境學習環境，同時方便虛擬實境教室成為共享設施。

上述安排將讓香港和廣州兩個校園的學生實時會面、並肩學習而無需親身往返兩地。科大學生，以及其他院校的學生和講師都可以遙距出席。從教室的層面推而廣之，兩個校園將各設虛擬雙子校園。預期MetaHKUST將為科大校園生活帶來更多便利和更高效率，例如使用者可以經虛擬國度前往財務處、使用諮詢服務，還有以非同質化代幣（NFT）形式接收由區塊鏈技術加密的文憑或成績單。

實施MetaHKUST令引領兩個校園發展的「港科大一體，雙校互補」願景轉化為可行模式。據國際上研究和發展擴增及虛擬實境的先行者、MetaHKUST倡議的重要推手許彬教授所說，倡議令研究人員得以找出大型教學元宇宙環境的真正研究挑戰。科大屬首批建立和探索遊戲應用以外、用作教學的大型元宇宙的高等學府，此領導角色讓其研究人員和教育家在塑造整個元宇宙新國度中肩負重要任務並有所貢獻；而根據許教授所說，整個元宇宙目前正處於「早期成形的關鍵階段」。

探索元宇宙引人入勝的技術和社會層面

什麼是「元宇宙」？根據《大英百科全書》的定義，元宇宙是「由多重沉浸式網上世界組成的擬議網絡」（原文：Proposed network of immersive online worlds）。在這個網絡中，用戶通過虛擬或擴增實境技術與其他用戶互動，並從中享用服務和購物。現時尚待解決的問題，是如何讓不同的網上世界和社群無縫互連，實現用戶在不同平台中流動（即相互操作性）。

各式各樣的網上世界將由哪些元素組成，以至它們應採取哪種設計和標準，同樣有待集體敲定。對於朱克伯格的追隨者來說，元宇宙就是建造中的烏托邦，人們將在裡面工作、社交和玩遊戲。商界人士則認為元宇宙是市場機會迅速增長的領域，彭博的預測報告估計其市值將於2024年達到8,000億美元。對於許教授和他的研究團隊來說，元宇宙是引人入勝的技術和社會探索，而且別具潛力，可望為全球提供更普及的教育，令社會更平等，令溝通更臻完善。另一方面，在私隱、管治、數據保安和其他棘手範疇上仍有不少重大問題亟待解決。

擴增實境：走進未來的科技

許教授於2013年加入科大工學院計算機科學及工程學系，現為港科大（廣州）新校園的計算媒體與藝術學域講座教授，以及元宇宙與計算創意研究中心主任。在清水灣校區，他是新興跨學科領域學部講座教授，並自2013年出任香港科技大學–德國電信系統與媒體實驗室主任。該實驗室由科大與德國電信創新實驗室共同創立，專責研究虛擬實境和擴增實境系統、社交媒體、大數據和移動運算。

許教授認識各種實境技術始於1990年代在香港大學本科畢業後。在那時候，互聯網是從事電機、電子工程和計算機科學領域的最熱門技術。2002年，許教授在開始攻讀香港大學哲學碩士課程之前，到了沒有互聯網的西藏開展長達數月的單車旅行。這段旅程引發了他的好奇心，推想互聯網無法正常運作或無法接達時還可使用哪些替代通信網絡。這些想法引領他遠赴英國劍橋大學完成博士學位（2008年），探討短程無線電和人類流動性，並以連接流動和社交網絡為研究焦點。許教授畢業後在德國柏林的德國電信創新實驗室從事前沿雲端運算應用的工作，其後認定了擴增實境將成為未來的科技，不僅是他眼中的未來科技，也是其他人將應用的未來科技。

沉浸式體驗提升學習成果

許教授過去十年專注於為移動可穿戴設備和雲端系統建構高性能、節能和可擴展的軟件，並設計用於沉浸式數據可視化和人類與數據互動的移動擴增實境演算法和系統。他發表了超過450篇論文，獲引用逾25,000次，而且擁有32項歐洲和美國專利。MetaHKUST的概念始於2021年年底，當時正值新冠疫情爆發，學界廣泛使用2D視像會議技術授課，然而學生已對其局限性大感厭倦。使用3D虛擬實境或混合實境的教室不會造成旁觀感，反而能營造親歷其境的感覺。許教授表示，這些感覺是學習體驗的重要元素，世界各地均有研究證明沉浸式體驗（例如在地學習當地語言）能加強學習成果。

MetaHKUST於2022年11月進行試驗，20多名學生戴著頭戴式裝置、以虛擬化身遙距進入科大的虛擬實境教室，他們可以坐下、四處走動，還可以走到教授面前與其交談。許教授說：「由於同學看不到自己的虛擬化身，心理上已融入實體環境，例如他們可以轉過頭看看其他同學，又可以在教室內走動。在學習的過程中，這種臨場感令學習者有更佳的體驗。但使用視像會議時卻無法動身或轉頭看到其他同窗。」他指出，混合實境教室能做到把真人投射，這種「沉浸式臨場感」將會越來越強。

多元文化團隊與跨學科學者參與

許教授曾於劍橋和柏林等地親身體會過多元文化如何激發創造力和新觀點，所以他的研究團隊也有來自10多個不同國家的博士後研究員、研究生和本科生。對他們來說，MetaHKUST的工作涉及各種各樣的前沿技術挑戰，例如是混合實境教室的系統架構、使用者的互動性和感知，還有延遲問題，全部有待一步步解決。

科大不同學科的學者也參與其中。目前名單上包括清水灣校園的副校長（大學拓展）汪揚教授，他是MetaHKUST項目發展的領導者和推動者；另外有兩位來自工學院的，是工業工程及決策分析學系和數學系的陳卡你教授，及綜合系統與設計學部和計算機科學及工程學系的Tristan BRAUD教授。在港科大（廣州），副校長（教學）吳景深教授一直促進混合實境教室的建設和發展，很多來自他紅鳥碩士班的學生都選擇以MetaHKUST作為他們的哲學碩士研究專案，各方的參與有助把項目擴展至兩個校園更多的教師和學生，從而加快進展。

元宇宙發展的廣義生態系統

隨著MetaHKUST的實體與虛擬教室的逐步實現，與元宇宙相關的論文著作、研究生論文題目正與日俱增，當中探討的並非只涉及技術問題，亦涵蓋了因虛擬和擴增實境科技滲透到人類生活的各個層面而產生的多個社會問題。

「All One Needs to Know About Metaverse: A Complete Survey on Technological Singularity, Virtual Ecosystem, and Research Agenda」（2021）是其中一份備受熱議的文獻，這篇論文以Creative Commons授權條款發表，對象包括專家和非專家，是最早期發表的同類論文之一。在論文中，許教授和聯合作者不僅揭示了元宇宙相關科技的影響，更探討了相關發展所涉及的廣義生態系統，包括虛擬經濟和內容創作、社會接受程度、保安私隱、信任和問責，以及虛擬化身的行為和其可能不朽永存的議題。論文吸引了超過500次引用，獲逾111,000閱讀人次；許教授更廣獲各界邀請參與元宇宙討論。

其中一個近期的演講活動，是2022年10月在印度新德里舉行的第90屆國際刑警組織全體大會，許教授應邀出席活動上的座談會。國際刑警組織的成員包括195個國家的警務部門，該年度全體大會吸引了來自世界各地1,000名安全部長、警察局長和其他代表出席，包括香港警務處處長。許教授說：「我從沒感到這麼安全過！」大會的其中一項活動，是為首個專為全球執法部門設計的元宇宙揭幕，其用途為警務培訓。許教授是國際刑警組織元宇宙專家組的創始成員，他將與全球執法專家緊密合作，令大眾更加關注元宇宙，確保元宇宙的安全。

學術界應更積極推動元宇宙在道德與社會層面的發展

在社會責任方面，許教授認為學術界能在元宇宙的演進上發揮特別作用。他說：「有時候，科技巨企在設計旗下元宇宙時因為較重視商業角度，未必想到社會影響這方面。但身為學者，我們必須在道德和社會範疇加倍努力。在我們專注於元宇宙技術發展的同時，也要積極找出其他潛在問題和儘早提出，令社會得悉問題所在。」

他補充說：「在線社交網絡最初出現時，大眾都對它不明所以，也不會想到人類可以被如此操縱。既然情況已於在線社交網絡發生過，未來也有可能在元宇宙重演。但我們已經從社交網絡發生的一切中吸取了經驗，所以也明白需要加倍小心。」

靜候現身的未來

對許教授來說，提高大眾對元宇宙在道德和社會影響方面的認知特別重要。許教授身兼電機電子工程師學會（IEEE）院士、英國皇家工程院國際院士和歐洲科學院院士，他認為元宇宙發展是靜候現身的未來。他看到人們希望得到便利，企業希望得到效率，而兩者都希望得到快捷的溝通。把三種要求結合，即代表當虛擬和擴增實境技術日漸進步的時候，越來越多的內容將會湧現，並滲入我們的日常生活當中。人們或許會在餐館用餐時透過元宇宙舉行會議，又或在正到訪的地方召喚在地資訊。

他說：「十五年前智能手機尚未面世。那時人們根本無法想像，他們能夠利用手機去完成我們今時今日透過手機去處理的各項大大小小的事情。現在我們都機不離身；同樣地，人們也會慢慢對虛擬內容習以為常。」

許教授認為，在目前的成形階段中，把元宇宙塑造成為「更優秀的元宇宙」至關重要。他說：「一個集尊重、通達和平等於一身的元宇宙，能為來自不同地區的人提供沉浸式交流、研究和學習的平台，促進更多姿多彩的全球合作，成為永恆而美好的元宇宙。」
 

¹ 通過3D近眼顯示器呈現沉浸式虛擬世界所營造的模擬體驗 + 使用者互動

² 擴增實境（在實境上加疊數碼層次）+ 使用者互動

³ 擴增實境、虛擬實境和混合實境

原文（英文版）刊於《In Focus》雜誌（2023年春季版，第35期，第12-16頁）。