?
在AR和VR中創建數字人物是沉浸式體驗的必要需求，但同時也是一項技術挑戰。對于初學者來說，這或許比在3D工具中創建物體和環境要困難得多。為什么？首先，人體結構比桌子或椅子更為復雜，所以更難復制；其次，我們已經特別熟悉人類的動作，所以我們的大腦能夠輕易發現最微小的差異；最后，對于AR/VR這樣的沉浸式媒介而言，人體動畫，特別費時又存在重重的技術困難。當然，市場上已經存在一些解決方案，而我們又應如何進行選擇呢？
根據海外近期文獻及映維網相關翻譯內容，以下討論了部分目前已有的解決方案及其優缺點。
?
1. 高定制化的虛擬化身
從卡通風格到類人風格，虛擬化身（有時稱為合成人類）是我們人類在數字空間中的對應定制角色。對于普通大眾而言，我們最為熟悉的例子包括Bitmoji、蘋果的Memoji和Facebook Avatars。但實際上，你可以發現一系列的公司都有把虛擬化身用于AR/VR。這種數字角色通常屬于高度可定制，允許你輕松改變膚色、頭發、衣服、配件、身高等等。保真度：高度程式化的虛擬化身保真度非常低，比如卡通類型的虛擬化身。它們的優點是，你可以變成別人難以通過外表或動作識別你的任何角色。實際上，即便是3D模型，我們對卡通角色的接受度普遍較高。動畫性：一般來說，虛擬化身時都會設計成便于定制調整和制作動畫。根據虛擬化身解決方案，你將能夠實現各種各樣的手勢和姿態。另外，它們可能會附帶一個運動庫或允許你導入自己的動作。沉浸感：在這一方面，低保真度的虛擬化身往往要優于嘗試實現高保真度的虛擬化身。在大多數情況下，你不會認為自己是在和一個真實人類分享這個空間，而這對你正在進行的工作或娛樂而言可能并不重要。成本：行業存在支持與特定AR/VR平臺集成的免費卡通化解決方案。你可以在Unity Asset Store等標準儲存庫發現這些功能有限，但成本和操作親民的虛擬化身解決方案。另一方面，你可以通過專業供應商尋找基于動捕技術并且由人工智能驅動的高質量虛擬化身。時間：通常，定制和配置虛擬化身的動畫是一個非常快速的過程，但前提是你正在使用的工具提供所需的定制和動畫選項。如果需要任何裁剪，這可能會成為一個棘手且漫長的過程，或者根本無法實現，比方說你希望移動虛擬化身的眉毛，但相關工具根本不提供所述選項。總結：對于不需要高逼真度或沉浸感的內容，虛擬化身是一個出色的解決方案。動畫性和所需時間令其成為了交互性內容的強大選擇，如訓練模擬器或游戲（事實上，傳統的游戲角色可以視為虛擬化身）。然而，如果你希望實現真正的沉浸感，或者希望你的內容能夠給受眾留下深刻的印象，你應該考慮其它方案。
?
2. 3D設計
人類的3D設計是使用專門的軟件從零開始創建人類角色的過程。你可以將其當作是繪畫人像，但這是在3D中進行。3D美術或專業設計師會創建達到特定細節級別的模型，然后用數字骨架對其進行綁定操縱，從而使其具有動畫效果。結果，你將得到一個獨特的虛擬化身。當然，要設計一個具有與真人相似的細節特征的3D角色，你將需要難以置信的專業知識量。頂級的3D專家會根據角色的個性為數字人類量身定制視覺外觀。為了減少復雜性，設計師通常從一個預先定義的模型，一個三維掃描，一個人體模型庫開始，并產生混合技術和結果。3D設計的角色不僅可用于AR和VR，過去的電影中同樣有廣泛應，如《指環王》中的咕嚕、《加勒比海盜》中的戴維·瓊斯、和《玩具總動員》中的伍迪等等。
?
保真度：你可以選擇不同的外觀風格，如卡通、寫實、幻想等。只要有合適的美術、工具、時間和預算，你就能實現其他方法難以達到的保真度。動畫性：這取決于3D設計的質量。設計精良的3D角色可以動畫化到令人難以置信的細節水平。頂級工作室甚至會用到深度學習引擎來驅動設計，這樣角色的一切，甚至膚色都會隨著動作而略有變化。在實踐中，對于一個普通的沉浸式項目，你可以用標準的工具和合理的動畫水平來設計角色，但不要期望太高的真實感。沉浸感：同樣，這取決于你的設計質量。如果技巧高超，三維設計可以帶來高水平的沉浸感。低質量的設計可能會導致非常令人毛骨悚然的結果，或者只是給整個沉浸式體驗帶來一種低端的印象。成本：根據你的方法，3D設計可能是最昂貴的解決方案。你需要內部人才來創建設計和制作動畫，或者是將工作外包。另外，根據選擇，3D設計工具和硬件可能需要你支付昂貴的價格。時間：一個3D設計美術可能需要幾個月的時間來開發一個合適質量水平的人類角色。類似地，電影或3A游戲的角色可能需要專業設計師團隊花費數個星期的時間來開發。過程可以更快地完成，但這涉及到成本或質量的權衡。總結：對于高端AR/VR內容所需要的獨特角色，而且不是直接從現實中捕捉的真實人物，3D設計可能是最好的解決方案，而你會看到游戲和電影大作常常會用到這種方法。如果你不追求高質量，但又無法通過定制虛擬角色的方法來獲得所需的結果，3D設計同樣值得你的考慮。但當然，前提是你擁有合適的人才和設備，以及足夠的預算。設計的類型必須根據你的使用場景進行調整。
?
3. 靜態3D掃描+動畫
三維掃描是一種使用專業技術，用來分析現實世界中的人或物，從而生成其數字三維副本的過程。這通常可稱為“數字孿生”或3D掃描。行業存在各種各樣的技術，而最常見的是使用深度傳感器和攝影測量。深度傳感器計算對象和傳感器本身之間的距離，而攝影測量則使用從不同位置和角度拍攝的照片，并使用專門的軟件將它們拼合在一起以形成三維模型。就其本身而言，人類的3D掃描就像是一個靜止的數字雕塑，它們需要用一個數字骨骼進行綁定操縱，并進行數字“蒙皮”，這樣才能動畫化。換而言之，模型的關節和活動組件需要識別和編程，并且模型的形狀在這一過程中不會瘋狂地改變。保真度：根據你能負擔的預算，你可以考慮不同的質量等級。好萊塢工作室使用高質量的3D掃描裝置，但你可以通過智能手機攝像頭來實現基本的3D掃描。保真度問題會在動畫化過程中出現，要人為地對三維掃描進行綁定操縱和蒙皮非常困難，這樣做通常會導致機器人般或木偶般的不自然效果。只有頂級工作室的合格3D美術團隊才能通過靜態掃描實現3D的逼真度。目前少有能夠實現出色效果的自動化工具。動畫性：如前所述，這是3D掃描的最大限制。3D掃描本質為靜態，對綁定操縱和蒙皮是持續不斷的技術挑戰，若缺乏熟練的美術技巧及標準工具將難以得到令人信服的結果。但如果保真度和沉浸感不是優先考慮事項，行業存在一些值得考慮的軟件解決方案。沉浸感：如果能以高標準拍攝并制作動畫，由3D專家團隊完成的3D掃描能夠實現令人信服的數字人類，并帶來高度沉浸感的體驗。對于采用標準的綁定操縱和蒙皮技術，所有質量級別的3D掃描都會有一種恐怖谷般的外觀和感覺。成本：如果你希望自己進行3D掃描，一個3D掃描裝置通常需要你購買幾十個攝像頭，外加一系列的配件。攝影測量軟件的成本可以接受，而運行重建過程不是什么高深的科學。另一個選擇是雇傭一個3D掃描工作室來完成特定的工作，這甚至可能會降低成本。如果這兩個選項都不行，你可以使用一個攝像頭并從不同的角度捕捉人像，然后進行重建，但這將是一個耗時的細節向過程。同樣，將3D掃描變成一個可動畫化的數字人類，你需要團隊擁有優秀的3D專業知識，以及采購甚至不能提供最令人興奮結果的昂貴的軟件解決方案。時間：如果你有你的三維掃描設備或有權訪問一家提供該服務的公司，三維模型的捕獲不是一個耗時的過程。就像上面提到的，3D掃描可以用一個攝像機從不同的角度捕捉一個人，但這需要時間和一定的專業水平。標準動畫制作不是一個耗時的過程，但會導致有限的結果。為了達到一個像樣的質量水平，你需要更長的時間來完成捕獲后的過程，例如從3D掃描到創建專業動態3D模型，你可以使用動捕技術創建動作，然后綁定靜態模型骨骼來產生動態效果。總結：傳統意義上，靜態3D掃描與動畫相結合一直是將真人帶到AR和VR或其他3D世界（如游戲）的首選方法。當交給合格的3D設計師團隊時，這是一個非常強大的工具組合。但在大多數情況下，你的公司可能缺乏這樣的團隊，所以3D掃描可能不是你的選擇。正如上述討論一樣，標準的綁定操縱和蒙皮技術會令模型看起來粗糙，有時甚至會出現恐怖谷效應。在這種情況下，你會犧牲沉浸感。如螳螂慧視所提供的體積視頻錄制方案（見下文）能夠解決這個問題，并給你提供了一個更為自然的結果。?
4. 體積視頻（動態3D掃描）
體積視頻是一種捕捉人或物并生成一系列三維模型的技術。換言之，體積視頻之于3D掃描就像視頻之于攝影一樣。一般來說，你可以把體積視頻的每一幀都看作是3D掃描。因為它直接捕捉現實，你可以用它把真實的人類準確地帶到AR/VR之中。由于它是三維的，你可以從任何角度看到內容。從技術上講，體積視頻就像3D掃描一樣，同樣是基于多攝像頭裝置，其中可以包括深度傳感器。事實上，一個體積視頻捕捉設備非常類似于一個3D掃描設備，只是它設置成記錄視頻而非單幀畫面。保真度：這是體積視頻的關鍵優勢之一。它的優點是形狀和動作不是分開生成，而是直接在3D中捕捉移動的人物。沒有一種方法可以在沒有高質量美術的監督下達到這種自然逼真度。與其他技術類似，體積視頻將根據你的預算和部署平臺提供不同級別的保真度。配備100多個攝像頭的精密裝置可以提供非常高的質量。但對于大多數目的來說，這可能是殺雞用牛刀，因為當你使用最先進的體積視頻重建軟件時，你可以用15-18個攝像頭獲得非常逼真的結果。但基于多個簡單甚至廉價的深度傳感器和攝像頭，會產生更多噪點、低分辨率或根本不是完全三維的低質量內容。動畫性：體積視頻和普通視頻一樣不需要動畫。你可以從現實中捕捉AR/VR體驗所需的動作，從而使其具有最大的保真度。反過來，體積視頻在重新設置動畫方面受到限制：你可以對其進行綁定操縱并對其進行蒙皮，但有可能會失去原始捕獲的真實性和保真度。與3D掃描相比，它有兩個主要優勢：沉浸感：與一個動態3D人物共享一個空間將是僅次于現實的交互案例。像視頻一樣，一般的外表和動作，甚至是情緒都是以原始保真度捕捉的，這樣的表達和反應最為真實。由于它是全三維，所以可以集成到AR或VR空間之中，并且可以從任何角度進行體驗。你同時可以添加一定的效果，例如讓3D角色注視著用戶。成本：如果你想搭建自己的動態3D內容捕捉設備，一些簡單的機器可以適合初學者使用，而且價格合理，只是不能提供專業的結果。最復雜的設備可能要花費過百萬美元，但它們可以產生真正高端的結果。事實上，所需的空間可能是最為昂貴的資源，即專門的體積視頻捕捉空間（3D影棚）。如果你與一個3D內容錄制工作室合作進行一次性項目，成本會高于2D Billboards和標準虛擬化身，但可能會低于3D設計或靜態3D掃描+動畫，但體積視頻可以提供更高的內容質量。一般來說，你不需要專業的人才，除非你想后期制作或重新制作你的捕獲真實3D動態內容。時間：這是體積視頻之于其他方案的最重要的優勢之一。第一步是捕捉，它所花費的時間和普通的視頻拍攝差不多。過去，處理體積視頻是一個漫長的過程，但目前的云解決方案已允許處理過程在幾小時，甚至幾分鐘內完成。另一個優點是，獲得的結果可以直接從處理管道集成到體驗之中。螳螂慧視（Mantis Vision）擁有的獨家3D內容直播技術，甚至能做到實時捕捉、處理、并在AR/VR端輸出完全三維的體積視頻。總結：如果AR/VR內容的關注點是人，需要以真實方式捕捉人物及相關的情感和動作，體積視頻可能是你的最佳選擇。如果你需要在內容中加入一個特定的人物，比如名人、品牌大使、公司高管或藝術家等，那這一優勢將尤其突出。但需要注意的是：如果你的內容具有高度交互性（如游戲），你將需要結合特定的綁定操縱和蒙皮技術來實現。
總而言之，如果你的項目能夠支持不需要動畫的解決方案，如體積視頻，則這類方案將確保非常自然和高端的人體運動效果體驗，并且是獲得最具沉浸感效果的最佳方法。如果你依賴動畫，而且擁有預算，你可以選擇動捕。但最終重要的是，無論選擇的方案是什么，要創造令人信服和身臨其境的內容，關鍵都是你自己的創造力。選擇正確的方法來來創建3D人物非常重要，有時這是一個漫長的過程。以上考慮事項可以幫助你在設計下一個AR/VR項目時的決策。你要確保為內容選擇正確的方法，因為正確的沉浸式體驗有助于建立你的信譽，并帶來更多的客戶和項目合作。