你的指南：邁向更美好的未來
我試用了谷歌和三星的下一代Android XR頭盔和眼鏡，殺手級應用是AI
我們在紐約市的谷歌總部提前體驗了三星的混合現實頭盔和谷歌的眼鏡，這些設備由全能助手驅動。
Scott Stein
2024年12月12日 早上8:00 PT
14分鐘閱讀
我曾使用過許多虛擬現實（VR）和擴增實境（AR）頭盔，並有過各種各樣的體驗。但直到本週，我才第一次在身邊有一個全能、全聽的AI伴侶，這是在我於紐約市的谷歌總部獲得的初步體驗。
Android XR目前已向開發者推出早期版本，並將於2025年全面推出，這是一個為各類頭盔和眼鏡設計的全新操作系統，也是一個與Android手機的橋樑。但其殺手級應用，顯然是谷歌所寄予厚望的AI——Gemini。根據我所見，這顯示了未來幾年頭盔和眼鏡將會有多大的變化……但我對它如何融入日常生活仍有很多疑問。
我最清楚的記憶是，在頭盔和眼鏡中進行了一小時的演示後，我的腦海裡充斥著各種回憶，然後我隨著AI伴侶穿梭於不同世界。例如，我站在自己社區的3D地圖上，家就在我腳下。我用手指捏合並縮放，懸停在屋頂上，直到我能看到地平線和幾條街幾座建築。我指著它們問道：
“那邊的建築是什麼？”
“那是高中，”Gemini回答，並識別出我所在城鎮的學校名稱。
我走近，還詢問了隔壁的市政大樓。我和Gemini一起探索我的城鎮，使用了一個新的三星混合現實頭盔，這個頭盔的感覺很像蘋果的Vision Pro頭盔。但當我請Gemini帶我去其他地方——不僅限於地圖，還有Chrome或YouTube，Gemini在視頻中幫我識別事物，或即時講解場景——甚至在谷歌紐約總部的虛擬客廳空間中指出並搜索現實世界的事物時，我開始迷失在我所使用的應用中。不過，Gemini始終伴隨著我。在幾次演示之後，Gemini甚至告訴我我做了什麼，幫我喚起記憶，以防我忘記。
這一切讓我感覺就像科幻助手的夢想，這並不是巧合。谷歌安卓生態系統總裁Sameer Samat將多模態AI比作“托尼·斯塔克”的瞬間：“這些[AI]模型能夠利用手機上的攝像頭與世界互動，這讓我們驚訝不已。這不正是眼鏡的理想選擇嗎？”
在與Samat的長時間獨家對話中，顯然AI促使谷歌重新編寫其未來的AR/VR計劃，並重返幾年前結束對谷歌Daydream支持後退出的市場。
是的，谷歌和三星在2025年有很多AR/VR計劃：Android XR將於那時推出，三星的頭盔也是如此。但Android XR還將與Android手機和其他從VR到AR，再到類似Meta Ray-Ban的智能眼鏡的頭盔和眼鏡協同工作。眼鏡在谷歌的路線圖上佔據了重要地位。我還獲得了多次展示其他公司推出的配備顯示屏和Gemini的智能眼鏡，每副眼鏡都有懸浮的抬頭顯示。這些眼鏡是谷歌代號為Project Astra的AI計劃的一部分，預示著未來的到來。
這一切信息量很大，但也是一個即將向AI生活轉變的巨大預示。這些內容令人著迷，但也需要消化。
與手機的橋樑，為各類硬件構建的生態系統
我已經說了多年：VR和AR的缺失部分就是我們的手機。到目前為止，iOS和Android與VR和AR頭盔及眼鏡之間的連接並不深入。但Android XR，這一將於2025年推出的新平台，將打開這一切。從三星的Vision Pro類似混合現實頭盔開始，谷歌旨在創建一個眼鏡、護目鏡和頭盔的宇宙，這些設備將與Google Play互聯，運行多個2D應用並使用Gemini AI。
谷歌將AI作為Android XR的一個重要部分，也是其最大特徵。在這方面，它已經不同於Meta和蘋果，後者在VR和AR中對AI的重視相對較慢。蘋果的智能系統在Vision Pro上尚未出現，但可能會在明年推出。雖然Meta的Ray-Ban智能眼鏡已經運行生成AI，但Meta Quest VR頭盔尚未內置許多AI工具。
Android XR目前仍處於早期階段，為早期合作夥伴提供預覽形式。谷歌目前的首要硬件合作夥伴是三星，我有幸短暫體驗了他們的混合現實頭盔，這將是明年的首款產品。三星還在製作眼鏡，我們對此了解不多……與此同時，谷歌也有自己內部的智能眼鏡，代號Project Astra（我也試用了這些）。
還會有其他合作夥伴和產品：Xreal已經擁有一系列顯示眼鏡和一款新的AI準備Xreal One眼鏡，但在未來的一年中，主要還是谷歌和三星，這些硬件將使用高通製造的芯片組。
儘管Android XR的起點是一款高端VR頭盔，但最終目標是未來會出現的一系列產品。“這不僅僅是關於一款產品，”三星沉浸式技術和硬件執行副總裁Kihwan Kim說。Kim認為這是未來一系列設備的基礎，包括眼鏡。“這更像是開拓這個市場的路徑，”Kim表示。
Meta的Orion眼鏡，我在秋季早些時候看到的，距離實現還有好幾年，但它展示了AR眼鏡的潛力。不過，目前還沒有人能達到那個水平，谷歌和其他公司一樣，正在尋找平衡以達到目標。
“我們有這種平行的方法，”谷歌XR副總裁兼總經理Shahram Izadi談到頭盔/眼鏡策略時表示。“一個從許多功能開始，一個從有限功能開始，但你鎖定的是形狀因素。大多數公司都是這樣攻擊這兩個方向，以實現全天佩戴的AR眼鏡。”
Project Moohan是第一步
我是少數幾個人之一，提前體驗了三星的Android XR頭盔，它被稱為Project Moohan，谷歌不允許我拍攝任何照片或視頻。我對這款硬件的感覺非常熟悉：它的貼合感和質感類似於Meta Quest Pro，但視頻質量卻接近蘋果Vision Pro。這款頭盔的清晰鏡片和面罩設計懸停在我的額頭上，無需面部配件的壓迫。頭帶設計在後部收緊，輕便，但還有一個與Vision Pro類似的有線電池包，我把它放在口袋裡。
谷歌為我提供了處方鏡片進行演示，這對我來說幫了大忙，因為這款頭盔似乎並不適合戴眼鏡的人。這款硬件具備眼動追蹤和手部追蹤功能，與Vision Pro相似，並使用彩色攝像頭透視將現實世界的影像與VR顯示的內容重疊，創造出類似於Meta Quest 3或Vision Pro的混合現實效果。
Project Moohan是谷歌和三星早期共同開發的產品，隨著生成AI興趣和能力的迅速上升，根據Samat的說法，團隊轉向了一個基於代理的Gemini系統，該系統將在頭盔和眼鏡上運行。但Moohan是谷歌認為可以涵蓋足夠互動基礎、支持Google Play應用兼容性、AI和界面的起點，這將促進其他可能最終不具備所有這些功能的小型眼鏡的創意。
熟悉，但帶有一些AI魔法
輕觸頭帶側邊會打開一個Google Play應用網格，這與Vision Pro（或我的Meta Orion演示）的工作方式相似。我可以用手指在空間中投射指針來打開應用，應用窗口可以通過邊緣拖動並調整大小。頭盔上的一個頂部按鈕可以讓我返回主屏幕，主屏幕包括一個沉浸式3D景觀，再次看起來非常像Vision Pro。
谷歌的演示都是基於谷歌應用，其中幾個在其他頭盔上尚未推出，尤其是Maps和YouTube。谷歌地圖以2D形式開始，但可以啟動一個完整的3D視圖，讓我想起幾年前我在VR中體驗的谷歌地球。景觀神奇地展開，裡面有可搜索的位置。谷歌還在不斷增加完整的3D掃描位置，使用一種稱為高斯塗抹的技術，將2D照片編織成現實（但有點模糊）的可步行房間。我進入了Scarpetta，一家紐約餐廳的掃描，並進入了餐廳。我在Meta和Varjo及Niantic等公司看到過這類掃描，但看到它們編織進地圖中還是很有趣。
YouTube的感覺像是標準的觀影界面，帶有彈出式評論和元數據窗格，但它也可以播放沉浸式3D、180度和360度視頻，這些視頻在YouTube上已經存在多年。還有另一個技巧：谷歌正在使用AI將2D YouTube視頻轉換為3D。效果不錯，更令人印象深刻的是，它也適用於Photos應用中的家庭視頻，以及2D轉3D的照片轉換。蘋果已經在Vision Pro中將2D照片轉換為3D，但視頻的轉換是沉浸式記憶的一次重大進步。
Android XR可以顯示照片和視頻，並將它們全部轉換為3D。
我還將Chrome瀏覽器拖到一張桌子上，演示如何從手部追蹤切換到鼠標和鍵盤的過程，過渡非常流暢；鼠標光標在整個房間中移動，而不僅僅是在瀏覽器窗口中。當我將手從鼠標上抬起時，手部追蹤立即恢復。我的演示沒有啟用眼動追蹤（可能是因為我的處方鏡片），但頭盔和Android XR都能根據可用的輸入進行調整：手、眼、聲音或鍵盤、鼠標或連接的手機等。（順便提一下，頭盔確實具備自動眼距調整功能。）
目前尚無三星頭盔的價格或發布日期，甚至沒有官方名稱——Moohan在韓語中意為“無限”——目前僅對開發者開放。但這感覺像是一款非常真實的產品，它運行的是高通在1月份宣布的XR2 Plus Gen 2芯片。不過，現在的特別成分似乎是Gemini AI。我的演示主要是在預設空間中進行的，使用了預配置的應用程序，但Gemini似乎是一個相當引人注目的魔法。
眼鏡：全能AI和抬頭顯示
三星的下一款產品將是智能眼鏡，更多細節將在2025年公佈。但這些眼鏡目前並不存在。相反，谷歌目前正在實驗其自家智能眼鏡，這是名為Project Astra的AI計劃的一部分，這些眼鏡目前正在進行現場測試，以獲取用戶在公共場合的使用反饋。我進入的第二個房間有多副這些眼鏡，其中一副為我配備了臨時的處方鏡片。這些眼鏡看起來非常正常，輕便無線（像Meta的Ray-Bans），配備了攝像頭和臂部的揚聲器及麥克風，還有幾個輸入按鈕。
這些眼鏡在右鏡片中有一個顯示屏，通過臂部的微型LED芯片投影到鏡片玻璃上刻蝕的波導上。它們的感覺像是對谷歌眼鏡的現代改良，但技術要好得多。顯示屏主要顯示文本：方向信息或Gemini可能通過揚聲器告訴我的內容。
我在房間裡走動，查看書架上的書，並詢問其中一本書（例如，Jeff Vandermeer的《贖罪》），我問是否需要先閱讀其他書。我打開了一本Yuval Noah Harari的書，請Gemini為我總結內容。我還讓它翻譯了牆上的一張海報。Meta的Ray-Bans也已經可以做到這一點，但Gemini一旦被喚醒，就會保持活動狀態，而無需額外提示。取而代之的是，我可以保持它的活動狀態……當我想要暫停助手時，只需輕觸眼鏡側邊。
我還演示了即時翻譯，當房間裡的另一個人走過來用英語和西班牙語與我交談時，她所說的一切都在抬頭顯示中自動顯示為字幕，即使她改變語言，所有內容依然以英語呈現。
另一個簡短的演示展示了技術的下一步：一副雙顯示的眼鏡給我提供了模擬的地圖信息，當我低頭時，我看到一個3D地圖出現，指引我的方向，顯示我正在面對的街道。當我抬頭並轉身時，當我在運動中時，地圖會出現，然後在我靜止時消失。我還看到了一段短視頻，展示了顯示器的潛在分辨率；微型LED的顏色和像素密度看起來非常好，但視場的方形範圍相當小。谷歌表示，這一範圍將隨著時間的推移而擴大，但目前明顯小於Meta Orion原型、Xreal的眼鏡甚至Snap的開發者眼鏡。不過，谷歌及其硬件合作夥伴如三星可能正在小心翼翼地推進，讓這些眼鏡在公共場合的使用中不會感到打擾或不安全。
Meta將頭盔和眼鏡視為兩類平行產品，就像PC和手機一樣，谷歌也有同樣的看法。“你可能會使用更沉浸的產品，類似於筆記本電腦。而在眼鏡方面，這些更像是未來的智能手機或穿戴設備，比如手錶或耳機。所以你必須支持兩者，”Izadi表示。
Gemini作為隨時待命的助手：我準備好了嗎？
在這些演示中，Gemini隨時待命的特性始終如一。這顯然是谷歌設計上的推動。但這也是我所經歷的所有體驗中最令人驚訝的一部分。無論你對AI有什麼擔憂，在頭盔或眼鏡中，AI都能提供極大的幫助，因為鍵盤或觸控屏的使用變得困難。我在使用Vision Pro或AirPods時更多地使用Siri。Meta的Ray-Bans也使用語音來進行更深入的控制。然而，當前的VR/AR設備在AI的感知上仍然有限。Gemini因為能夠實時看到你所見的一切，讓它感覺像是一個夥伴……也許不是你總是希望的那種夥伴。
我最初覺得Gemini活潑友好（它說“嗨！”我尷尬地回了一句“嗨”），但隨後它進入了聆聽模式，任何我說的話都可能被解釋為指令——不存在“嘿，Gemini”的提示。這使得它很有幫助，但也讓人感到侵入。停止它的方式是暫停或再次關閉，這感覺與當前的AI助手運作方式相反：不是輕觸喚起，而是輕觸停止。毫無疑問，Gemini在小型眼鏡上運行的連續時間將受到限制，僅從電池的角度來看。根據谷歌的說法，在像Project Moohan這樣的混合現實VR中，Gemini作為一層使用投影來解釋它看到的一切。它甚至可以在玩遊戲時使用，儘管可能會影響性能。
其優勢在於，它可以不斷打破混合現實的第四面牆：我可以“圈選搜索”Chrome中的內容，並使反饋彈出，或按需將3D物體拉入我的世界，或在我請求位置或視頻時跳轉到應用（在演示過程中發生過）。三星的Kim建議，如果Gemini看到我在頭盔或眼鏡中做什麼，我可能會在玩遊戲時獲得教程。而且，當然，它也可以記住我在做什麼，何時做的。儘管當我請Gemini識別我在房間中的同事Lisa Eadicicco時，它表示還不能用來識別人（目前還不行）。
谷歌已經開始為Gemini 2鋪設廣泛的計劃，剛剛宣布將成為一個跨設備運行的代理系統。將攝像頭的輸入納入AI的數據來源，也意味著將收集和訓練更多數據。這不僅僅會出現在頭盔和眼鏡上，谷歌也不是唯一追求這一願景的公司。其影響是巨大的。
“無論是眼鏡、頭盔、手機還是手錶，助手都會隨著你而來，”Izadi表示。
我會希望Gemini看到我在做什麼嗎？不，當然不會。微軟曾在Windows中實驗過一種始終開啟的Recall AI模式，但在遭遇反彈後推遲了該計劃。谷歌將如何處理這種在始終幫助與侵犯隱私之間的微妙平衡仍不明朗，儘管谷歌承諾用於AI識別的視頻源將保持私密和本地化。
Android XR將打開手機、頭盔及其他設備之間的門
有一件事似乎很明確：隨著Android XR，各類頭盔和眼鏡將能夠比以往更輕鬆地與手機相連。這將使一系列原本孤立的產品能夠以一種蘋果和Meta尚未做到的方式更緊密地融合在一起（雖然谷歌具體如何實現這一點也不清楚）。谷歌的Samat指出，三星是首個共同探索該軟件的合作夥伴，但高通現有的Snapdragon Spaces軟件已經能將手機與眼鏡連接，這也將與Android XR兼容。谷歌還在為Android XR啟用WebXR和Unity工具，現有的2D Google Play應用只要開發者同意選擇將其列入，就都能在Android XR上運行。
各個硬件製造商應該能夠定制自己的軟件和工具，同時仍然連接到Google Play，但將谷歌已經廣泛的服務放到其他設備上又如何呢？目前，谷歌並未提供具體細節，但在Quest和Vision Pro頭盔及其他設備上擁有XR地圖和YouTube，以及Gemini，將會對用戶有幫助。
這也可能改變開發者對未來VR和AR應用的想像。“雖然我們希望將現有遊戲如Demeo帶入Android XR，但該平台也使我們能夠開發全新的創意，”Resolution Games的負責人Tommy Palm表示，該公司為許多現有的VR/AR硬件製作過遊戲。“Android XR的開放性、對開發者友好的方法和獨特的創新，讓它不僅可行，還使我們考慮在故事講述中使用混合現實的全新方法。例如，聊天機器人的自然語言接口可能成為XR和遊戲的一個非常強大的延伸。”
這些舉措仍在早期，但它們也是未來動向的指標。蘋果和Meta在未來幾年無疑會在AR和VR中推出更多AI服務，並且蘋果可能會找到讓Vision與iPhone協同工作的方式。或者他們必須這樣做。谷歌的計劃非常合理，並且可能讓頭盔和眼鏡真正成為手機的外圍設備，最終與手錶等設備協同工作。隨著谷歌、三星和高通三個合作夥伴的加入，還有其他製造商，這可能會變得雜亂。但這也是一個已經分散的未來格局所需要的統一進展。我們將在2025年獲得更多關於真實情況的消息，而那一年並不遙遠。
以上文章由特價GPT API KEY所翻譯及撰寫。而圖片則由FLUX根據內容自動生成。
