眾說元宇宙及其實現_LiveVideoStack

翻譯、編輯 | Alex

技術審校 | 劉連響

本文來自Streaming Media，作者為Adrian Pennington。

▲掃描圖中二維碼瞭解音視訊技術大會更多資訊▲

影音探索#007#——元宇宙

早在主流媒體對元宇宙產生濃厚興趣之前，Magic LEAP、Nvidia和華為等公司就已經在嘗試構建元宇宙了，只不過當時它們被稱為Magicverse、Omniverse或Cyberverse。其他公司將元宇宙概念化為Planet-Scale AR、AR雲和映象世界。現在與元宇宙聯絡最緊密的人——馬克·扎克伯格，曾將它描述為“Embodied Internet”。

這些想法與空間計算（也被稱為3D Web），或者電影特效先驅John Gaeta等人設想的由計算機生成的3D VR與AR相吻合。文化歷史學家和科幻愛好者會告訴你，在電影《頭號玩家》及其原著風靡全球以前，元宇宙這個詞由Neal Stephenson首創於他1992年推出的小說《雪崩》。

所有這些概念都集中描繪了網際網路的同一演進：從平面文字和圖片網頁到一個通過數字化增強物理世界、實現（至少）3D體驗的虛擬空間。

AWE（Augmented World Expo，增強現實世界博覽會）的創始人Ori Inbar在2017年曾將AR雲解釋為“對現實世界持續地數字化複製，在不同使用者和裝置間實現共享AR體驗”。和他的解釋相比，元宇宙目前的最新解釋並沒有發生太大變化。

Infinite Reality公司的總裁Rodric David在NAB Amplify的一篇文章中這樣描述元宇宙：“元宇宙是……流媒體、互動體驗和社交媒體的完全融合。內容、通訊和互動被呈現為深度、強烈真實感的體驗，並驅動使用者行為，最終成就品牌價值。”

線上遊戲創作網站Roblox的CBO Craig Donato告訴_Protocol_：

“人們使用網際網路是為了獲取更多的資訊，但是進入元宇宙則是為了擁有更多的社交機會。我將不再受限於物理距離或者其他約束因素，比如與誰互動、如何呈現自己。這絕對是顛覆性的。”

沒有人知道元宇宙何時完全形成，但是支持者持積極態度，認為下一代網際網路將對萬事萬物產生深遠影響。它將成為全球生產和觀看直播內容的主流平臺，David說：“它將具有互動、實時交易、品牌推廣整合、遊戲、綜合社交、區塊鏈和NFT、遊戲化工具等功能和特性。”

本篇文章不會去過多地討論現在圍繞元宇宙的諸多活動（科技巨頭想要通過它們來佔有我們更多的資料、金錢以及精神世界）。但我們也必須承認：下一代網際網路框架之戰已經開始了。

01／開放或者封閉？

Epic Games的CEO Tim Sweeney總結了這場戰爭，他指出要實現元宇宙的價值（無論是金錢上的收益，還是在創造性和社交方面），由Facebook和谷歌建立起來的“圍牆花園（Walled Garden）”必須被拆掉。他對《華盛頓郵報》表示：“現在我們正處在封閉的平臺中，Apple和谷歌也在利用這種封閉性；但當我們擺脫現狀，所有人都將意識到：好吧，原來過去十年時間，我們所做都是為了成就別人。”

譯者注：“圍牆花園(Walled Garden)”是一個控制使用者對應用、網頁和服務進行訪問的環境。圍牆花園把使用者限制在一個特定範圍內，只允許使用者訪問或享受指定的內容、應用或服務，禁止或限制使用者訪問或享受其他未被允許的。——來自百度百科

撇開Epic Games自己的應用（比如Fortnite）在很大程度上也是“圍牆花園”這一點不談，業內人士普遍承認“如果想要實現元宇宙的價值，就需要在構建一系列的標準、指南以及最佳實踐的基礎上形成跨行業聯盟，這樣才能支援大規模跨平臺3D和XR內容的持續生產和發行”（來自Nvidia 開發者生態系統副總裁Neil Trevett在RealTime Conference 2021上的演講內容）。

02／標準化工作組

Sweeny認為，正如1986年成立IETF開發和推廣網際網路標準一樣，構建元宇宙也需要這樣的合作。你需要一整套標準，Web就是基於其中的幾個標準（比如HTML）實現的。元宇宙則需要大量標準，如用來描述3D場景的檔案格式、描述玩家如何實時互動的網路協議等。每個多人蔘與的遊戲都使用某種網路協議，這些協議並不都相通，但最終它們都應能彼此通訊。

能夠支援持久、無處不在的虛擬模擬技術的協議、格式以及服務等互動標準和工具也許將是整個元宇宙框架中最重要的組成部分。“沒有它們，元宇宙將不會存在，充其量不過是現在移動網際網路和應用商店的一個更加虛擬和沉浸式的版本。”EpyllionCo的執行合夥人Matthew Ball和Genvid Technologies的CEO Jacob Navok在Ball的個人網站上寫道。“更重要的是，這種平庸的模仿將無法實現豐厚的盈利，也遠遠談不上健康、充滿活力……”

雖然大部分相關主題的文章都假設元宇宙只有一個，但其實更準確來說，它將成為一個多元宇宙。與當今網際網路使用億萬個人主頁或者應用作為訪問點非常相似，元宇宙的主頁入口將通過一個基於瀏覽器的URL和個性化的avatar來實現。“人們將能夠使用加入遊戲引擎機制的移動裝置穿梭在整個虛擬元宇宙環境中，”David說道。“無限定製的avatar將攜帶鑰匙、錢包並持有身份，成為我們的虛擬版本。”

03／數十億個元宇宙

很有可能存在數十億這樣的元宇宙，其中元宇宙的每個人都擁有自己的數字ID，但能夠同步和互動才是它們的目的。我們的avatar應該能在各個元宇宙、硬體裝置（VR頭顯、AR移動裝置）中自由出入，我們的行動、創造、資料以及區塊鏈錢包也和avatar一起，不受“圍牆花園”的限制和阻礙。

“毫無爭議，區塊鏈以中立、共享的方式表達個人所有權，同時它也是實現長期開放框架（人們身在其中可以控制自己的存在，而無需人看管）最實際的方法，”Sweeney在_The Business of Business_上的一篇文章中寫道。

要實現這一點，就需要經過個人出資以及個人努力所取得的獨特創造，也就是封閉元宇宙，同時還需要開放元宇宙中更多的開放標準和大規模可擴充套件方法。道德層面，元宇宙的開放與封閉一直存在爭論，主要傾向於資本主義壟斷和社會主義（民主）烏托邦兩大陣營之爭。現實中的差異則更加微妙。

“封閉元宇宙只有在使用者簽署終端使用者許可證協議後通過下載專有source IP才能訪問，” David說。“Fortnite、Roblox、《使命召喚》、 Minecraft和《英雄聯盟》都是封閉元宇宙。而任何人建立avatar後，通過PC或者移動裝置上的瀏覽器和URL就能訪問元宇宙。在接下來的幾年裡，各個品牌都需要將投資元宇宙作為頭號策略。”

如果目的是盡力將世界整合到元宇宙中，也就意味著我們身邊的很多裝置和平臺都要相互連線，比如汽車、安保攝像頭、VR和AR頭顯、投影攝像頭和螢幕、可穿戴裝置等等。Ball和Navok表示：“開發這些將需要專有標準，或者至少能夠從專有標準的使用中受益。這無疑給開發者們帶來了很大壓力，很有可能形成惡性迴圈——沒有平臺擁有足夠的使用者進行開發，沒有平臺擁有足夠的內容來吸引使用者……你無法將Roblox中的體驗匯入Minecraft或Fortnite中，正如你無法輕易地將Ins上的照片和點贊匯入到TikTok或Snapchat上。”

04／開放元宇宙的構成

如何以一種開放、靈活且高效的方式描述共享虛擬世界是構建開放元宇宙的關鍵。“肯定不會是HTML或者JavaScript渲染庫的擴充套件，”擔任Nvidia高階傑出工程師的Michael Kass在領英發布的一篇文章中寫道。“也不會由標準委員會來建立，它將是一種開源3D場景描述（3D Scene Description），在極具挑戰的條件下歷經多年訓練而成。”

Nvidia支援皮克斯的開源USD（Universal Scene Description，通用場景描述）。Kass說：“為了方便藝術家之間的團隊合作以及各種工具的互換，並最終呈現出電影級別的虛擬人物、場景和動畫，皮克斯的USD便應運而生，發展至今。”利於團隊合作的特性也正是元宇宙中合作和社交部分所需，互換工具的標準化也恰恰能將元宇宙連線在一起。”

Nvidia使用USD作為其Omniverse（一個為各類公司構建元宇宙應用的B2B平臺）的核心技術，Kass表示，Nvidia 對USD的增強使其能夠“在相關渲染過程所在的任何地方”渲染應用程式，從而實現了元宇宙的可擴充套件性。

Kass解釋道：“Web已經有了多種複製機制，它們包括分散式資料庫、CDN和各種各樣的快取。但是複製一個十分複雜的3D虛擬世界卻具有其獨特的挑戰。如果Web頁面的HTML發生了變化，可以重新發送整個更改後的HTML。對於由數百個兆位元組構建的虛擬世界而言，這麼做根本不切實際。任何實用的開放元宇宙都必須能夠通過傳送（僅）指定更改內容的增量更新來進行復制。”

通過在USD之上構建一個高效的複製系統，Nvidia相信自己能夠同步多個參與者的虛擬體驗。在另一篇文章中，Ball寫道：“對於Omniverse來說最關鍵的是，即使不考慮使用的檔案格式和引擎或者模擬技術，它也能實現這種同步。也就是說，這一切都不必通過Unity、Unreal或AutoCAD。雖然目前Omniverse主要用於設計和測試，但可以想象，Nvidia未來會利用這種技術加上其自身的工業計算能力，來實現元宇宙的大部分體驗。”

Nvidia將Omniverse描述為一個構建和模擬虛擬世界的端到端平臺

（圖片來自Nvidia）

05／創造大規模3D資產

Nvidia也是Khronos Group的支持者之一。Khronos Group是一個包括華為、谷歌、Epic Games和Valve等在內的行業聯盟，專注於開發開源API以及為圖形、計算和渲染加速建立免專利費的開放標準。Khronos Group管理的標準包括Vulkan、OpenXR、OpenGL ES、WebGL 和 glTF 等。

根據Khronos Group所述，WebGL API的使用已經非常普遍，它允許使用者觀測、操控和修改3D 模型而無需安裝任何瀏覽器外掛。它表示，VR和AR現在通過WebXR在瀏覽器中也獲得了支援，為高效下載和渲染而設計的glTF 3D檔案格式也實現了3D模型的建立和轉換。

Epic Games、Nvidia和谷歌等公司已經開始構建元宇宙中的數字世界。能夠將現實世界複製到數字世界的公司商業前景無限。比如，2019年，Epic Games收購了Quixel，這是一個由藝術家Teddy Bergsman和Waqar Azim於2011年創立的2D和3D攝影測量資產庫。2016年，Quixel推出了基於真實世界材質和3D物體掃描的線上素材庫——Megascans。

在寫給NAB Amplify的一篇文章中，Ball表示，對映現實世界的能力已經成為IP的重要來源。“這種變化說明了為什麼像Epic和Unity等公司會選擇收購那些擁有掃描真實世界能力的公司，而不是自己從零開始創造。在未來幾年中，我們將很有可能看到這個賽道中異常激烈的競爭。Nvidia、Autodesk、Facebook、 Snap和Niantic等擁有相同業務的公司都將選擇建立自己的資料庫。

然而，創造3D資產需要技能高超的技術人員和藝術家，這些人才的缺乏對元宇宙的增長來說將是很大的阻礙。Khronos Group的開發者認為面向大眾市場的LiDAR（Light Detection and Ranging）技術很可能解決這個問題。目前一些新上市的手機（比如iPhone 12）中就內建了這種技術，每個普通使用者都能使用。

有傳言說，iPhone 13 Pro可能內建了第二代LiDAR掃描器，配合機器學習演算法，這種掃描器可以將我們的日常生活瞬間轉變成3D。“很多專家認為3D採集將像2000年的數字攝像一樣普遍。”來自TechRadar的報道稱。

LiDAR不止處理靜止影象，它對於使用者製作的Volumetric Video也十分重要。_Apple Insider_指出，Apple於2021年釋出的專利可以通過編碼器壓縮視訊中的LiDAR空間資訊。“它可以讓A15晶片根據LiDAR深度資訊模擬視訊的焦外成像（Video Bokeh），同時仍然可以拍攝高質量視訊。”

基於glTF等互動標準的3D媒體管理平臺（如Sketchfab和Poly）已經可以通過Web瀏覽器檢視和互動控制3D模型。“LiDAR技術……現在可以讓任何人通過最新的iPhone大規模渲染真實世界，將其轉換為機器可讀的3D模型，再轉換為可交易的NFT，然後快速上傳到開放的虛擬世界中。這些世界裡有各種avatar、可穿戴裝置、傢俱，甚至是整座大樓或者整條街道。” 風投公司Outlier Ventures的CEO兼創始人Jamie Burke在一篇網站推文中寫道。

Burke同時還在領導一項工作，那就是為開放元宇宙奠定基礎。Outlier Ventures投資了新興的Web 3領域中的加密貨幣、區塊鏈以及創業公司。該公司表示：“去中心化技術的融合將徹底重構網際網路並形成新的資料經濟。過去20年一直被全球數字化挖掘、不斷增加的反社交平臺以及“雲”所主宰，接下來的20年將由網路價值的重新分配和平臺壟斷的分拆來定義。平臺的權力將向個人使用者轉移。”

Outlier Ventures希望通過推廣開放元宇宙作業系統（The Open Metaverse OS, 一種建立在NFT等去中心化協議成功基礎上的共享、開放的作業系統）來加速元宇宙的實現。它明確地將數字貨幣及“鏈上NFT交易資產”與新興元宇宙經濟的核心聯絡在了一起。

Ball和Navok也認同這種方法。他們認為區塊鏈將成為一種重要的交換技術，它可以“保留最大價值並受益於開放標準”，而且非常有可能在元宇宙中蓬勃發展。

合成攝像頭影象和相對應的真實資料（圖片來自Nvidia）

06／元宇宙的開放作業系統

Burke認為，他提到這些框架技術（如LiDAR、皮克斯的USD以及Nvidia的Omniverse），相比於任何封閉平臺，在一個全球性開放的市場中將獲得更多收益，而且Web 3和加密正在不斷加強與遊戲和VR等新環境的融合，這些新環境正在從Web 2平臺向新一代平臺遷移。Open Metaverse OS的最佳解釋就是一批持續發展、高度可組合的技術，這些技術將越來越多地、且有選擇地用於開發更加開放的元宇宙。

其他平臺希望在社交上也能達到類似的成果。OWAKE是一個“實時‘時刻’分享系統”，可以實現人與人、人與機器以及機器之間的通訊。Kronosa開發了這一系統，它的任務就是“使用下一代網際網路構建可持續的人類社會——人類可以同時居住和工作在虛擬世界和真實世界中”。除此之外，Open Metaverse Interoperability Group “正致力於通過設計和開發用於身份、社交圖譜、庫存等的協議來連線虛擬世界”。

Nvidia Drive Mapping為自動駕駛車輛提供可縮放、高清地圖和本地化等功能

（圖片來自Nvidia）

07／元宇宙中的硬體

元宇宙與否，軟體已無法解決穿越在網路間的海量資料需求。優化視訊傳輸的頻寬、延遲以及可靠性十分關鍵。“如果我們想在一個巨大的、實時共享且持久的虛擬環境中互動，我們將需要接收海量的雲資料流，” Ball和Navok在另一篇文章中寫道。“如果我們想無縫跳轉到不同的虛擬世界中，那麼雲資料流就會非常重要。”

延遲是目前體育直播的一個大bug。當然一般來講，通過優化LL-HLS和ABR等技術，從視訊採集到螢幕播放的延遲能降低到5秒。這種程度的延遲對於NFL或者Premier League的比賽直播而言還說得過去，但卻無法適用於競技類電子遊戲、線上博彩以及多人對陣遊戲，更不用提未來元宇宙中的即時社互動動了。“輕微的面部表情變化對於人類交流而言非常重要——我們對微小的錯誤或者同步問題異常敏感（所以才產生了CGI中的“恐怖谷效應”），” Ball和Navok說道。他們堅持認為：這無關於你的裝置有多強大，如果它不能及時接收到需要的所有資訊，那麼算力的可用性和開發就會限制並界定元宇宙。

08／用於元宇宙的計算、5G和邊緣

人們認為，5G與構建在邊緣地帶（位於資料中心或者手機）的基礎設施將一起成為實現元宇宙的關鍵。該領域中除了電信技術的常規發展之外，還有很多針對元宇宙的創新。位於洛杉磯的創業公司LionShare Media推出了提供Premium娛樂和沉浸式媒體體驗的THIN/AIR平臺。根據其網站介紹，這個直接面向用戶的雲原生5G去中心化媒體分發平臺，為創作者提供屬於自己的名為Projects的媒體渠道。LionShare Media對Projects的解釋是：它們是空間3D Web APP，擁有超越OTT視訊、社交媒體和直播體驗的hyper-cube UI/UX設計。

但即使我們提升了使用者裝置的算力，使更多企業算力接近於使用者算力，建設更多的去中心基礎設施，依然很有可能功虧一簣。

Ball和Navok的想法是：將產生一種P2P網路，其中每臺本地PC和裝置的可用算力將用於滿足需求。裝置所有者將因為他們的CPU和GPU算力被使用而獲得報酬。他們認為，未來的交易如果通過區塊鏈來操作，這種方法是很有可能實現的。“每臺計算機（無論大小）都將被設計為可以拍賣任何空閒計算時間。數十億個動態排列的處理器將能夠為最大行業客戶的深度計算提供動力，最終連線所有計算機並提供無限算力，從而實現元宇宙。”

References:

http://amplify.nabshow.com/articles/metaverse-will-supplant-the-internet-rodric-david/

http://www.awexr.com/

http://www.bbc.com/news/technology-57942909

http://www.protocol.com/roblox-metaverse

http://www.businessofbusiness.com/articles/why-mark-zuckerberg-is-turning-facebook-into-a-metaverse-company/

http://www.matthewball.vc/all/themetaverse

http://www.khronos.org/webgl/

http://www.techradar.com/news/why-the-iphone-13-pros-lidar-scanner-could-be-its-secret-photographic-weapon

致謝：

本文已獲得作者Adrian Pennington授權翻譯和釋出，特此感謝。

原文連結：

http://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=151453