草圖人像變 3D 模特,360° 無死角還原姿勢,一張就行,多“草”都可|SIGGRAPH 2022
一張隨便勾畫的草圖,居然也可以分分鐘自動變成逼真的 3D 模型?!
360° 無死角不説,轉換期間真的不需要任何其它角度姿勢的輸入。這就是獲得了 SIGGRAPH 2022 榮譽獎的一個最新 3D 姿態估計模型: Sketch2Pose 。
除了草圖,像這樣的小猴子,四肢嚴重不按比例生長,Sketch2Pose 也可以辦到:
這是如何做到的?
只要 4 步,草圖人變 3D 人
將草圖上的人物 / 形象變成 3D 模型,此前的研究中都還未專門涉及。 該任務最大的挑戰就是比例失真問題 ,因為畫上的東西可能頭大身子小、胳膊長腿短……
為此,Sketch2Pose 通過對三個關鍵元素進行預測來消除繪製姿勢時的可能出現的“歧義”。這三個元素分別是:
-
2D 骨骼切線(2D bone tangents)
-
自接觸區域(self-contacts)
-
骨骼縮短比例(bone foreshortening)
其中,2D 骨骼切線(下圖藍色部分)是預測 3D 骨骼方向最有力的指標(關節位置不行)。自接觸區域(如下圖綠色部分,手接觸腰的位置)對於理解 3D 姿勢至關重要,也是消除未知身體部位歧義的線索。骨骼縮短轉換系統則利用統計分析來糾正原圖中的比例問題。
根據這三者預測,再使用最先進的優化框架(optimization framework),並用專門設計的一種新的損失(loss)來平衡姿勢自然度,以及與輸入草圖的相似性,AI 就能最終推斷出符合畫者意向的 3D 姿勢。
具體步驟如下:
-
輸入一張草圖,首先預測出 2D 關節位置或骨架,用於 3D 人體模型的粗略對齊。
-
然後預測屏幕空間(screen-space)接觸區域,將其映射到粗略對齊的 3D 模型上,得到一組接觸頂點(紅色部分)。
-
接着,利用縮短轉換階段描述的草圖人物比例問題,進行修補。
-
最後,在優化框架中利用 2D 骨架的骨骼切線、粗略對齊的 3D 姿勢以及比例修補,產生最終結果。
有遮擋缺失也 OK
最終的 Sketch2Pose 可以支持多種草圖風格的轉換,比如下圖中的簡筆畫或者水墨畫,像下下圖最後一張那樣簡略的也可以。
同時,對缺失、遮擋部位也能穩健處理。比如上圖第一行中的人手(不過我們發現左邊的似乎推測有錯,手應該是放在兩腿之間;右邊的抱頭基本沒啥問題,但手掌應該向後彎曲)。
再將 Sketch2Pose 和 SOTA 方法進行比較,結果還是令人非常滿意的。可以看到,Sketch2Pose(第三列)對姿勢還原的更到位,缺失部分的預測也更符合人體構造。
而開頭那隻小猴子,Müller et al. 2021 等方法的轉換效果就是下面這樣:
對於猴子“扭曲”的下肢部分,這些方法都出現了理解偏差 ——Sketch2Pose 完勝。
作者介紹
Sketch2Pose 一共有兩位作者,都來自加拿大蒙特利爾大學。
一作名叫 Kirill Brodt (Кирилл Бродт),出生於 1991 年,本碩畢業於新西伯利亞州立大學(數學學位),後在 Yandex 數據分析和計算機科學中心學院學習機器學習,現為蒙特利爾大學的一位博士生。他的主要研究方向為跟草圖有關的計算機視覺轉換。
另一位作者名叫 Mikhail Bessmeltsev,是一作的導師,蒙特利爾大學計算機科學與運籌學系的助理教授。
感興趣的同學可以戳論文原文,或者去 Huggingface 上試試效果。
論文原文:
http://dl.acm.org/doi/10.1145/3528223.3530106
項目主頁:
http://www-labs.iro.umontreal.ca/~bmpix/sketch2pose/
Huggingface demo:
http://huggingface.co/spaces/SIGGRAPH2022/sketch2pose
Github 代碼:
http://github.com/kbrodt/sketch2pose
- 對手域名聯繫方式都沒刪?微盟孵化 CRM 企業銷氪陷“抄襲門”
- 準備上市之際,Arm 宣佈任命新的首席財務官 CFO
- 華為機場與軌道軍團落地河南鄭州
- 華為 Mate 50 Pro 海外發售,不支持北斗衞星消息
- 消息稱 Redmi K60 系列最高支持 120W 快充,驍龍 8 Gen1 版機型內置 5500mAh 電池
- 網易雲音樂首款音樂社交 App MUS 開放註冊,通過音樂匹配同頻朋友
- 特斯拉柏林超級工廠突發火災,批評人士藉機呼籲停止生產
- 中國廣電 192 號段今日正式商用,全國 31 個省區市全部開通 5G 網絡服務
- 升級 Android 13,三星 Galaxy S III 和 Note II 用上 LineageOS 20
- 蘋果 Apple Watch Ultra 詳細拆解:防水更強、電池更大
- 美國科技股遭嚴重打擊,但特斯拉與蘋果股票依舊受追捧
- 美股週一:三大股指連跌 5 天,熱門中概股多數上漲
- 沃爾瑪也要搞元宇宙,把遊戲平台 Roblox 當試驗田
- 安全研究人員發現 10 款蘋果 App Store 應用參與廣告欺詐
- 微軟 Surface Duo 3 安卓摺疊屏手機專利曝光:超越三星 Galaxy Z Fold 4 等單一折疊
- CEO 庫克宣佈:蘋果在倫敦巴特西發電站改造後的辦公室即將開業
- 大量 Verizon 用户反饋:在蘋果 iPhone 14 Pro 上遇到蜂窩網絡連接問題
- 再獲控制權!賈躍亭和合夥人公司重組法拉第未來董事會,現任董事長將引咎辭職
- 消息稱蘋果 iPhone 15 Ultra 採用雙前置攝像頭和 USB-C 端口,256GB 存儲起步
- 到 2025 年,谷歌 Fitbit 用户將被強制遷移使用 Google 帳户