Site icon 硬是要學

NVIDIA 最新研究:用 AI 模擬超逼真的髮絲運動,用 2D 影片直接轉換 3D 模型

生成式 AI 不斷有新突破,NVIDIA 將在今年的 SIGGRAPH 上展示出多種由 AI 產生的影像處理技術,包含了只需 2D 影片就可以轉換出逼真的 3D 模型技術,以及透過神經物理學來精準模擬出逼真的頭髮運動,製作出高品質、逼真的 3D 動畫。

2D 轉 3D 人像,只要一台手機就可以運作

創作者在建立虛擬世界時,通常先以 2D 建構世界概念和角色,再將場景或角色交由 3D 建模師處理。NVIDIA 和加州大學聖地亞哥分校的研究人員共同研究基於單個 2D 肖像生成和渲染逼真的 3D 頭肩模型的技術,只需要傳統視訊攝影機或手機相機拍攝,就可以即時產生逼真的臉部 3D 模型,甚至連臉部的表情細節都能辨識。

▲ 左側為原始影像,右側為 AI 運算過後的影像深度資料,中間則是透過 3D 處理後的虛擬視角

另外,NVIDIA 也和史丹佛大學進行了另一項研究,利用研究人員建立的 AI 系統從真實網球比賽的 2D 影片中學習一器列網球技巧和動作,並且把動作套用在 3D 角色上,這些複雜的運算完全不需要使用昂貴的動作捕捉器就能達成。

▲ 這不是真人,而是透過 AI 模擬的球員

超逼真的頭髮運動模擬

人類的頭上平均有 10 萬根頭髮,有一點風吹草動都都會讓髮絲產生動態。傳統在製作 3D 動畫時是透過物理公式來計算每根頭髮的運動,讓畫面看起來更逼真,但這需要龐大的運算能力,如果設備沒辦法提供這麼龐大的運算量,只能簡化頭髮運動的複雜度,這也是為什麼遊戲裡的頭髮飄動會比較生硬的原因。

NVIDIA 發表的研究將神經物理網路 AI 技術,讓 AI 可以預測髮絲在真實世界中的運動方式,以即時模擬數萬根頭髮的移動,可以將需要幾天的模擬工作縮短到以小時計算,大幅降低運算成本,也提高了模擬品質。

下方影片展示了研究的實際成果,可以看到 AI 即時模擬出髮絲的運動相當逼真。

Exit mobile version