國產視頻大模型發佈
【中新社北京二十七日電】在2024中關村論壇年會未來人工智能先鋒論壇上，清華大學聯合生數科技二十七日正式發佈中國首個長時長、高一致性、高動態性視頻大模型——Vidu。
對標國際頂尖水平
據悉，該模型採用團隊原創的Diffusion（擴散）與Transformer（變換）融合的架構U-ViT，支持一鍵生成長達十六秒、分辨率高達1080P的高清視頻內容。
Vidu不僅能夠模擬真實物理世界，還擁有豐富想像力，具備多鏡頭生成、時空一致性高等特點。Vidu是自Sora發佈之後全球率先取得重大突破的視頻大模型，性能全面對標國際頂尖水平，並在加速迭代提升中。
在當天論壇上，清華大學教授、生數科技首席科學家朱軍表示，與Sora一致，Vidu能夠根據提供的文本描述直接生成長達十六秒的高質量視頻。除了在時長方面的突破外，Vidu在視頻效果方面實現顯著提升，主要體現在模擬真實物理世界、多鏡頭語言、時空一致性高、理解中國元素等方面。
採“一步到位”生成
“值得一提的是，Vidu採用的是‘一步到位’的生成方式。”朱軍表示，與Sora一樣，文本到視頻的轉換是直接且連續的，在底層算法實現上是基於單一模型完全端到端生成，不涉及中間的插幀和其他多步驟的處理。
朱軍表示，Vidu的快速突破源自於團隊在貝葉斯機器學習和多模態大模型的長期積累和多項原創性成果。其核心技術U-ViT架構由團隊於二○二二年九月提出，早於Sora採用的DiT架構，是全球首個Diffusion與Transformer融合的架構，完全由團隊自主研發。
自今年二月Sora推出後，團隊基於對U-ViT架構的深入理解以及長期積累的工程與數據經驗，在短短兩個月進一步突破長視頻表示與處理關鍵技術，研發推出Vidu視頻大模型，顯著提升視頻的連貫性與動態性。
“Vidu的命名不僅諧音‘Vedio’，也蘊含‘We do’的寓意。”朱軍表示，模型的突破是一個多維度、跨領域的綜合性過程，需要技術與產業應用的深度融合，希望與產業鏈上下游企業、研究機構加強合作，共同推動視頻大模型進展。