想要在元宇宙裡
「指點江山」嗎？
就是「頭號玩家」裡主角戴著的那種。
當然想了，可是，哪裡能買到呢？
有一個好訊息是，這樣的手套目前已經初具雛形了。
想象一下，你正在和朋友的3D虛擬化身拼一個3D虛擬拼圖。
當你從桌子上拿起一塊虛擬拼圖時，能真切地感受到拼圖就在手中，就是手指會停住的那種，效果大概就像下面這樣。
拿起來觀察的時候，不僅能夠看到，也能摸到拼圖邊緣的鋒利和表面的光滑。然後，把拼圖放到正確的位置時，「咔噠」一下，嚴絲合縫。
再想象一下，你來到一家咖啡館「掏出」一個虛擬的螢幕和鍵盤。
這個鍵盤可大可小，而且還能在「紅軸」、「青軸」等各種不同手感之間來回切換，雖然看起來其實就是在敲空氣。
是不是看起來非常像「元宇宙」中的場景？
沒錯，這就是Meta的現實實驗室（Reality Labs， RL）在解決元宇宙中的一個核心挑戰——「如何觸控虛擬世界」上做出的一點點努力。
無非就是研發了7年，整了點新的材料、新的感測器、新的執行器、新的整合和系統方法、新的渲染演算法以及新的物理引擎。
畢竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎麼行。
用手套觸控「元宇宙」
現在的VR技術，雖然能透過手持裝置操作虛擬的物體，但是使用者卻完全無法感受到它們。
這個時候，如果有一個時尚、舒適、實惠、耐用、柔軟、輕便的觸覺手套，就能解決在使用VR和AR時面臨的互動問題了。
這個手套不僅可以準確地將佩戴者的手部動作反饋給計算機，而且還能重現一系列複雜、細微的感覺，如壓力、紋理和振動，創造出用手感受虛擬物體的效果。
如果想還原真實的觸感，手套上就必須搭載數百個執行器 （微小的馬達），並且能夠以一種協同運動的方式使佩戴者感覺他們正在觸控一個虛擬物體。
然而，工作剛開始兩年，團隊就遇到了傳統電子和金屬器件的限制。
用現有的機械執行器製作出的手套無法舒適地佩戴一整天。不僅僵硬、昂貴、耗電，而且無法呈現真實的觸覺感受。
Meta RL則希望可以透過全新的材料製作一種柔軟且有韌性的執行器，而且還可以根據佩戴者的動作改變形狀。
「顯然，你不能在手上安放1000個電機和各種用來連通的電線，」Meta RL研究硬體工程總監Tristan Trutna解釋道，「即便能實現，從物理層面上來說，也並不適合。手套的質量和使用時產生的熱量都太大了。」
現實你也猜到了，這種執行器並不存在。
於是，團隊決定轉向軟體機器人和微流體的新興領域，這其中的技術分別常用於假肢和PoC診斷裝置。
經過一番研究，近兩年Meta RL在氣動執行器（使用氣壓來產生力）和電動執行器（在有電場的情況下改變形狀或大小）方面都取得了重大突破。
為了控制這些新的軟執行器，Meta RL製造了世界上第一個高速微流體執行器。透過手套上的一個微小的微流體晶片，告訴閥門應該在何時以多大程度開啟和關閉，從而控制輸入執行器的氣流。
Meta RL研究科學家Andrew Stanley指出，「對於VR或AR的觸覺互動來說，執行器需要非常迅速地對指尖進行加壓，而利用空氣就可以做到。」
有了流體邏輯電路，Meta RL能夠透過減少控制大量執行器所需的機電閥門的數量來消除系統中沉重的元件。
精確
構建
畫面的觸覺「渲染」
即使有了控制氣流的方法，手套也需要知道何時何地提供正確的感覺。
這就需要使計算機能夠準確地知道你的手在虛擬場景中的位置，你是否接觸到了虛擬物體，以及你的手是如何與物體互動的。
為此，Meta RL推出了一種新的渲染軟體，能夠根據手的位置和對虛擬環境的理解，包括其中虛擬物體的紋理、重量和硬度，在準確的時間向手上的執行器傳送正確的指令。
「通常認為『渲染』是指視覺效果」，Meta RL軟體工程師Forrest Smith說，「我們也用『渲染』這個詞來形容觸覺。我們在這裡做的是把虛擬世界的狀態和你與它的互動，渲染到執行器上，這樣你就能感受到相應的感覺。」
其中，物理引擎（用於模擬影片遊戲中物體互動的軟體）決定了你的手在與虛擬物體互動時應該接受的力的方向、大小和位置。
而觸覺渲染演算法將這些資訊與觸覺裝置的特性（如各個執行器的位置和屬性）相結合，從而能向裝置傳送正確的指令。
結合聽覺、視覺和觸覺的反饋
隨著團隊的工作進入第四年，第三個挑戰出現了。
為了使觸覺發揮作用，Meta RL必須模仿現實來建立物理模型，但又不能完全重現現實世界的物理學。
雖然觸覺手套可以提供有價值的反饋，但它們不能完美地阻止你的手指在試圖抓住一個虛擬物體時閉合，也不能阻止你的手在虛擬桌子上停留時穿過桌子。
這怎麼解決呢？
於是，他們又轉向了感知科學和多感官整合，去研究人類的感官如何共同作用以建立我們對世界的理解。
佩戴者體驗研究科學經理Sophie Kim解釋了該團隊是如何利用人類的感知能力來創造足以令人信服的感覺的。
她說：「我們的大腦非常善於利用一點點觸覺訊號、一點點視覺訊號、一點點聽覺訊號，並將它們融合在一起，真正感受到這種感覺，並確信有一個物體存在於你的手中。」
Meta RL感知研究科學家Jess Hartcher-O‘Brien描述了在VR和AR中的感官整合可能是怎樣一種感覺。
「例如，當我準備拿起一個立方體時，會對它的材料型別和它可能的重量有一個假設。」
「在觸碰到這個立方體的一瞬間，我就會把關於它的材料屬性的視覺線索和觸覺反饋結合在一起。」
「當我去操作這個物體時，我的大腦會識別摩擦力和慣性，並能計算出這個物體的密度或重量。」
「我的視覺系統正在根據我的手臂如何移動而更新。感覺告訴我，我的手臂在空間中的位置，它的移動速度，以及我的肌肉正在做什麼。」
而這就是觸覺手套的神奇之處了，它甚至可以讓佩戴者的感知系統相信自己正在感受一個物體的重量。
佩戴者手指的面板會被執行器輕輕地拉動，從而模仿重力對所持物體的拉扯，當然，這一切都必須在時間上完全同步。
在2017年底的一項實驗中，Meta RL使用指尖上的單一振動觸覺裝置，在VR中的一系列不同材料製成的虛擬球體（木頭、大理石、泡沫）從空中落下時提供觸覺反饋。
當每個球體落到受試者的虛擬手指尖上時，都有獨特的視覺、聽覺和觸覺反饋提示。
Keller表示，「所有的時間和工程對這種音訊-視覺-觸覺體驗來說都是恰到好處的。你可以感覺到這是一塊泡沫、木材或大理石。你可以體驗到這些材料在落下時輕輕地打在你的手指上的感覺。」
發明未來：Meta RL剛剛開始
在VR和AR中提供可信的觸覺體驗所需的一些技術目前還不存在，但Meta RL仍在不斷推動技術水平的提高，創造新的突破，使觸覺手套成為現實。
「我相信，在即將到來的AR/VR和元宇宙的人機互動革命中，觸覺將是至關重要的」，Meta RL Research科學經理Nicholas Colonnese說，「在未來，我們可能會呈現一個『觸覺點選』，在你向元空間的朋友打招呼時分享定製的『觸覺握手』。」
Meta RL的觸覺手套專案開始時是一個「登月專案」，但隨著團隊成功創新並完成了幾十個學科的研究飛躍，它的可行性越來越高。
「當我們開始觸覺手套專案時，我們問自己，我們是否能建立一個可大規模生產的、消費者負擔得起的消費裝置」，Keller說。
「當時，我們認為做不到，因為沒有新的材料、新的感測器和執行器、新的整合和系統方法、新的渲染演算法、新的物理引擎，什麼都沒有，這根本不可能，但時至今日，我們可以很驕傲地說，我們已經開闢了一條可行的道路，可以讓我們達到目標。」
時間過去了七年，而對於他們來說，這才剛剛開始。
「Meta現實實驗室是一個創新的鍛造廠」，Keller補充說，「你可以看到你創造的這些東西是如何實際影響人們和人們的生活的，這是非常有意義的。」