機(jī)器人首席戰(zhàn)略官譚茗洲在接受科技日報記者采訪時指出。 如何理解人工智能的第一人稱和第三人稱視角？譚茗洲解釋道：“第一人稱視角代入感很強(qiáng)，比如在玩游戲時，你如身臨其境，看到的游戲畫面就是你真實世界看到的畫面。第三人稱視角又叫作上帝視角，仿佛你一直飄在角色身邊一樣，如影隨形，可以看到角色本身及周圍的情況。例如，第三人稱視角下藏在掩體后可以看到掩體前面的情況；而在第一人稱視角下，囿于視角范圍，在掩體后則只能看到掩體本身?！?/div>
“再如自動駕駛，其視覺系統(tǒng)如果只從旁觀者的（如車的角度）收集數(shù)據(jù)，即便通過數(shù)十萬個基于旁觀視角看到的車輛行進(jìn)圖像或視頻進(jìn)行訓(xùn)練，人工智能可能依然不知道如何去做，很難達(dá)到現(xiàn)在的自動駕駛水平。因為這種旁觀者的視角與坐在車內(nèi)方向盤前的視角很不一樣，第一人稱視角下，真人駕駛員做出的反應(yīng)還包括點剎、猛剎等行為，這些數(shù)據(jù)是從旁觀者視角無法搜集的?！弊T茗洲進(jìn)一步說。
“以前人工智能界很少以第一人稱視角收集數(shù)據(jù)集，這個項目彌補(bǔ)了人工智能視角體系的短板。未來AR、VR的發(fā)展十分重要，如果人工智能可以從‘我’出發(fā)，以第一人稱視角來觀察理解世界，將開啟人類和人工智能沉浸式體驗的新時代。”譚茗洲指出。
克里斯汀·格勞曼也表示：“下一代人工智能系統(tǒng)需要從一種完全不同的數(shù)據(jù)中學(xué)習(xí)，即從事件中心視覺而不是邊線視覺展示世界的視頻中學(xué)習(xí)?！?/div>
建立真實世界數(shù)據(jù)集
目前讓人工智能感知環(huán)境、認(rèn)識世界，建立類人化的認(rèn)知體系主要通過什么“抓手”展開？
業(yè)內(nèi)專家指出，歷史證明，基準(zhǔn)和數(shù)據(jù)集是人工智能行業(yè)創(chuàng)新的關(guān)鍵催化劑。今天，幾乎可以識別圖像中任何對象的計算機(jī)視覺系統(tǒng)都是建立在數(shù)據(jù)集和基準(zhǔn)之上的，數(shù)據(jù)集和基準(zhǔn)為研究人員提供了一個研究真實世界圖像的實驗臺。
“臉譜日前發(fā)布的這個項目，其實本身就是建立一個數(shù)據(jù)集，旨在訓(xùn)練人工智能模型更像人類。其開發(fā)了5個圍繞第一人稱視覺體驗的基準(zhǔn)挑戰(zhàn)，即把第一人稱視角拆解成5個目標(biāo)，開展相應(yīng)的訓(xùn)練集競賽?！弊T茗洲指出。
Ego4D的5個基準(zhǔn)是：情景記憶，什么時候發(fā)生？預(yù)測，我接下來可能會做什么？手—物交互，我在做什么？視聽日記，誰在什么時候說了什么？社交互動，誰在和誰互動？
譚茗洲強(qiáng)調(diào)，上述基準(zhǔn)測試將促進(jìn)開發(fā)人工智能助手所必需的構(gòu)建模塊的研究。人工智能助手不僅可以理解現(xiàn)實世界中的指令并與之交互，同時可以在元宇宙中實現(xiàn)對元宇宙中指令的理解和交互。
為了建立這個數(shù)據(jù)集，與臉譜合作的大學(xué)團(tuán)隊向研究參與者分發(fā)了現(xiàn)成的頭戴式攝像頭和其他可穿戴傳感器，以便捕獲第一人稱的、未經(jīng)編輯的日常生活視頻。項目的重點是參與者從日常場景中捕獲視頻，比如購物、烹飪、邊玩游戲邊聊天，以及與家人和朋友進(jìn)行其他團(tuán)體活動等。
視頻采集了攝像頭佩戴者在特定環(huán)境中選擇注視的對象，以及攝像頭佩戴者如何從自我中心角度與人和物互動。到目前為止，攝像頭佩戴者已經(jīng)執(zhí)行了數(shù)百項活動，并與數(shù)百種不同的對象進(jìn)行交互，項目的所有數(shù)據(jù)都是公開的。
“臉譜這項研究能夠更快地推動人工智能領(lǐng)域自我中心認(rèn)知研究的進(jìn)步。這將對我們未來的生活、工作和娛樂方式產(chǎn)生積極影響。”譚茗洲表示。
讓人工智能認(rèn)知能力更像人
人工智能發(fā)展的終極目標(biāo)是讓人類受益，讓我們能夠應(yīng)對現(xiàn)實世界中日益復(fù)雜的挑戰(zhàn)。想象一下，通過AR設(shè)備能夠在琴、棋、書、畫課堂中準(zhǔn)確顯示如何彈琴、下棋、握筆和勾勒；形象生動地指導(dǎo)家庭主婦根據(jù)食譜烘焙燒烤、烹飪菜肴；健忘的老人借以眼前全息圖的幫助回憶過去……
臉譜強(qiáng)調(diào)，希望通過Ego4D項目為學(xué)術(shù)界和行業(yè)專家開辟一條全新的道路，幫助構(gòu)建更智能、更靈活和更具交互性的計算機(jī)視覺系統(tǒng)。隨著人工智能越加深入理解人類的日常生活方式，相信將這個項目能以前所未有的方式對人工智能的體驗進(jìn)行情境化和個性化。然而，目前的研究還只是觸及自我中心認(rèn)知的皮毛。
如何才能讓人工智能的認(rèn)知能力更像人類？“首先是注意力，人工智能的注意力機(jī)制更接近直覺，而人類的注意力是有選擇性的。目前來說，大部分人工智能注意力機(jī)制，是在訓(xùn)練過程中重復(fù)告訴人工智能應(yīng)該注意哪些地方，哪些東西是有關(guān)聯(lián)的。未來也許可以讓參與試驗的人戴上特殊的可以捕捉眼球關(guān)注點的裝置，來進(jìn)一步收集相關(guān)數(shù)據(jù)?！弊T茗洲指出。
“第二，還需要以事件和行為的關(guān)聯(lián)為研究中心，定義人工智能的行為。一件事情的發(fā)生包括多個行為，要用人類反饋的方式訓(xùn)練人工智能系統(tǒng)，使人工智能的行為與我們的意圖一致?！弊T茗洲進(jìn)一步表示。
譚茗洲強(qiáng)調(diào)：“此外，聽覺和視覺、語言和行為等之間還需要配合、響應(yīng)、聯(lián)動，這就要構(gòu)建多模態(tài)交互模型，縱深研究視角為何會聚焦投向并與意圖識別相結(jié)合，形成與行為之間聯(lián)動的機(jī)制等?！?/div>