“值得一提的是,Vidu采用的是‘一步到位’的生成方式。”朱軍表示,與Sora一樣,文本到視頻的轉(zhuǎn)換是直接且連續(xù)的,在底層算法實(shí)現(xiàn)上是基于單一模型完全端到端生成,不涉及中間的插幀和其他多步驟的處理。
據(jù)介紹,Vidu不僅能夠模擬真實(shí)物理世界,還擁有豐富想象力,具備多鏡頭生成、時(shí)空一致性高等特點(diǎn)。Vidu是自Sora發(fā)布之后全球率先取得重大突破的視頻大模型,性能全面對(duì)標(biāo)國(guó)際頂尖水平,并在加速迭代提升中。
自今年2月Sora發(fā)布推出后,團(tuán)隊(duì)基于對(duì)U-ViT架構(gòu)的深入理解以及長(zhǎng)期積累的工程與數(shù)據(jù)經(jīng)驗(yàn),在短短兩個(gè)月進(jìn)一步突破長(zhǎng)視頻表示與處理關(guān)鍵技術(shù),研發(fā)推出Vidu視頻大模型,顯著提升視頻的連貫性與動(dòng)態(tài)性。
朱軍表示,Vidu的快速突破源自于團(tuán)隊(duì)在貝葉斯機(jī)器學(xué)習(xí)和多模態(tài)大模型的長(zhǎng)期積累和多項(xiàng)原創(chuàng)性成果。其核心技術(shù)U-ViT架構(gòu)由團(tuán)隊(duì)于2022年9月提出,早于Sora采用的DiT架構(gòu),是全球首個(gè)Diffusion與Transformer融合的架構(gòu),完全由團(tuán)隊(duì)自主研發(fā)。
“Vidu的命名不僅諧音‘Vedio’,也蘊(yùn)含‘We do’的寓意?!敝燔姳硎?,模型的突破是一個(gè)多維度、跨領(lǐng)域的綜合性過(guò)程,需要技術(shù)與產(chǎn)業(yè)應(yīng)用的深度融合,希望與產(chǎn)業(yè)鏈上下游企業(yè)、研究機(jī)構(gòu)加強(qiáng)合作,共同推動(dòng)視頻大模型進(jìn)展。(完)
該模型采用團(tuán)隊(duì)原創(chuàng)的Diffusion與Transformer融合的架構(gòu)U-ViT,支持一鍵生成長(zhǎng)達(dá)16秒、分辨率高達(dá)1080P的高清視頻內(nèi)容。
在當(dāng)天的論壇上,清華大學(xué)教授、生數(shù)科技首席科學(xué)家朱軍表示,與Sora一致,Vidu能夠根據(jù)提供的文本描述直接生成長(zhǎng)達(dá)16秒的高質(zhì)量視頻。除了在時(shí)長(zhǎng)方面的突破外,Vidu在視頻效果方面實(shí)現(xiàn)顯著提升,主要體現(xiàn)在模擬真實(shí)物理世界、多鏡頭語(yǔ)言、時(shí)空一致性高、理解中國(guó)元素等方面。
尊龙d88app到ra来就送38中新社北京4月27日電(記者 陳溯)在2024中關(guān)村論壇年會(huì)未來(lái)人工智能先鋒論壇上,清華大學(xué)聯(lián)合生數(shù)科技27日正式發(fā)布中國(guó)首個(gè)長(zhǎng)時(shí)長(zhǎng)、高一致性、高動(dòng)態(tài)性視頻大模型——Vidu。
網(wǎng)友評(píng)論更多
22崇左f
17天16板,中小投資者狂掃超16億元,機(jī)構(gòu)大舉賣(mài)出!深圳華強(qiáng)再次提示風(fēng)險(xiǎn)!⛜⛝
2024-09-25 04:51:57 推薦
187****4936 回復(fù) 184****2698:德媒:非洲期待中國(guó)綠色產(chǎn)能⛞來(lái)自百色
187****3001 回復(fù) 184****6729:馬斯克回應(yīng)特斯拉中國(guó)市場(chǎng)份額下滑⛟來(lái)自河池
157****1084:按最下面的歷史版本⛠⛡來(lái)自來(lái)賓
39賀州362
美國(guó)加州和內(nèi)華達(dá)州面臨火災(zāi)威脅 數(shù)千戶(hù)家庭被迫撤離⛢⛣
2024-09-25 11:18:14 推薦
永久VIP:申萬(wàn)宏源策略:市場(chǎng)博弈政策 仍是不見(jiàn)兔子不撒鷹⛤來(lái)自岑溪
158****1046:劇震!巴菲特又做對(duì)了!⛥來(lái)自桂平
158****9105 回復(fù) 666⛦:特朗普在紐約時(shí)報(bào)-錫耶納學(xué)院全國(guó)民調(diào)中領(lǐng)先哈里斯一個(gè)百分點(diǎn)⛧來(lái)自北流
86東興vn
太空出差8天變被困8個(gè)月,美航天局:飛船沒(méi)帶回宇航員是對(duì)的⛨⛩
2024-09-25 22:46:46 不推薦
憑祥lu:慷慨承諾 不計(jì)后果——美國(guó)“競(jìng)選經(jīng)濟(jì)學(xué)”觀(guān)察⛪
186****2039 回復(fù) 159****6595:美聯(lián)儲(chǔ)掌門(mén)人及其貨幣政策的局限和超越⛫