二月中 Open AI 突然推出 Sora 影片生成 AI 模型,在全世界引起一波騷動,不過在推出後 OpenAI 就沒有更進一步的動作。不過同樣是研發影音生成 AI 模型的 Stability AI 公司就不是這樣了,他們乘勝追擊推出 Stable Video AI 影片生成平台,同樣只要輸入文字指令,就可以生成一段約 5 秒的影片片段。
Stable Video 的運作原理
Stable Video 在 2D 圖片生成的潛在擴散模型的 (Diffusion Models) 基礎上加入時間層,並且使用小型、高品質的影片資料集加以訓練,將其改造成影片生成模型-Stable Video Diffusion 1.1。
Stable Video 不只能憑空讓 AI 產生影片,你也可以上傳一張照片,透過 AI,讓照片中的回憶動起來。
Open AI Sora v.s Stable Video 比較
手哥把 Sora 官網提供的文字指令原封不動丟到 Stable Video 裡,對比同樣指令在兩個系統中產出影片的結果:
Stable Video 在產生影片之前,會先根據你提供的指令繪製 4 個場景畫面,你可以選擇其中一個場景來產生影片。
在產生影片前,Stable Video 還提供多種鏡頭移動模式供選擇。不過一旦你在這邊選擇了鏡頭動作,系統會忽略你在前面指令中提到的運鏡方式,要特別注意。
Sora 產生結果:
Stable Video 產生的結果:
另外再測試一組東京街頭的影片:
指令:A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
Sora 產生結果:
Stable Video 產生的結果:
Stable Video AI 免費開放使用
Stable Video AI 目前已經開放免費使用,註冊後就可以獲得 110 點,且每天還會提供免費點數讓你使用。點數消耗方式:使用文字產生影片的話,每個次耗費 11 點;如果將照片轉成影片的話則是耗費 10 點。