Lumiere

Google Lumiere是一個基於文本到視頻的擴散模型，通過訓練海量文本和視頻數據，可以將文字描述直接轉化為高質量、真實、多樣且連貫動作的視頻。與傳統綠幕技術和繁瑣的手動動畫過程相比，Lumiere讓創作者只需通過文字描述場景與動態，就能輕鬆製作出流暢自然、引人入勝的視頻內容 ^[1]  。

Lumiere的時空擴散U-Net架構可以生成整個視頻的所有時間段，提高動作連貫性和時間一致性。它採用Multidiffusion優化方法將視頻序列分割成多個時間窗口，並在每個時間窗口內進行空間超分辨率計算，優化內存需求 ^[1]  。

Lumiere模型在文本生成視頻領域帶來了革命性的變革，提高了生成視頻的質量和動作連貫性，優化了模型的內存需求和計算效率，為視頻生成領域帶來更多可能性，手機制作電影或許不再遙遠 ^[1]  。