ab官方网站

ab官方网站8月19日，昆侖萬維發(fā)布首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels。SkyReels平臺集劇本生成、角色定制、分鏡、劇情、對白/BGM及影片合成于一體，讓創(chuàng)作者“一鍵成劇”，輕松制作高質(zhì)量AI視頻。

輸入劇本后，StoryboardGen模型會將劇本拆解成全局與主體兩部分，全局部分包括場景、景別、構圖等對分鏡的整體描述，主體部分包括角色形象、動作人物角色的定制，最終匯集至故事板(Storyboard)智能體生成完整分鏡。StoryboardGen的專項多智能體架構，能夠有效保證人物與場景的可控性和一致性，創(chuàng)造出高質(zhì)量的工業(yè)級分鏡。

短劇創(chuàng)作的另一重要環(huán)節(jié)——分鏡生成，則由昆侖萬維自研分鏡生成大模型StoryboardGen提供底層技術。StoryboardGen是昆侖萬維首創(chuàng)的的基于DiT-MoE架構(基于Diffusion Transformer技術的Mixed-of-Experts混合專家架構)的分鏡生成模型，能夠實現(xiàn)高密度分鏡信息生成，大幅增強視覺敘事表達能力。

SkyReels平臺集成了昆侖萬維自研劇本大模型SkyScript、自研分鏡大模型StoryboardGen、自研3D生成大模型Sky3DGen、以及業(yè)界首個將AI3D引擎與視頻大模型深度融合的創(chuàng)新平臺WorldEngine。

昆侖萬維AI短劇平臺SkyReels的推出，標志著全球AI短劇創(chuàng)作的一次技術飛躍，它將對視頻內(nèi)容創(chuàng)作流程進行全面顛覆，讓創(chuàng)作者從繁瑣、復雜的制作流程中解放出來，專注于創(chuàng)意實現(xiàn)與靈感表達，讓“一人一劇”的夢想成為現(xiàn)實。

在3D AI引擎方面，昆侖萬維自研的Sky3DGen大模型能夠生成多樣化的3D元素和場景，從自然景觀到未來都市，從靜態(tài)物體到動態(tài)角色，并提供了實時的3D場景交互能力，使得用戶可以即時看到調(diào)整和編輯的效果，加快創(chuàng)作流程。在WorldEngine的加持下，用戶還可以輕松構建3D虛擬影棚，實現(xiàn)虛擬拍攝的夢幻體驗。

用戶使用SkyReels生成AI視頻時，可以對任意元素自由選擇使用3D AI引擎生成或者視頻大模型生成，該創(chuàng)新模式突破了當前AI視頻大模型時常出現(xiàn)的“穿模”、“反地心引力”等反物理規(guī)律現(xiàn)象，最大程度實現(xiàn)了物理模擬的精細度與視頻大模型的幻想創(chuàng)造力的完美融合。自此，AI視頻生成大模型將從“模糊控制”時代走向“精確可控”時代。

SkyReels的AI劇本生成功能基于昆侖萬維自研劇本大模型SkyScript打造。為了讓AI生成的劇本具備短劇的高密集爽點劇情，昆侖萬維首先構建了億級的高質(zhì)量短劇結構化數(shù)據(jù)集SkyScript-100M，該數(shù)據(jù)集針對海量精彩短劇的劇情節(jié)奏、爽點、情緒變化進行了高質(zhì)量標注；其次算法團隊設計了漸進式生成的劇本生成框架，實現(xiàn)了模型能夠輸出高度結構化的精彩劇本，無論是新手作者還是資深劇作家，都能通過它激發(fā)創(chuàng)意，輕松創(chuàng)作出引人入勝的短劇劇本。

同時，WorldEngine結合了引擎的精確可控能力(如光照模擬、物理模擬、3D空間、實時交互等)以及AI視頻大模型的幻想生成能力，提供了全新的線上混合視頻創(chuàng)作模式，讓視頻創(chuàng)作從模糊生成邁向更加精確可控。

SkyReels AI短劇平臺不僅為專業(yè)內(nèi)容創(chuàng)作者提供了強大的創(chuàng)作工具，更極大地降低了AI短劇創(chuàng)作的門檻，使得非專業(yè)用戶也能輕松上手。這一革命性的工具有望帶來AI短劇用戶生成內(nèi)容(UGC)與專業(yè)用戶生成內(nèi)容(PUGC)的爆發(fā)式增長，為短劇內(nèi)容生態(tài)注入前所未有的活力，推動短劇內(nèi)容創(chuàng)作與消費市場的進一步快速增長。

SkyReels能夠通過AI一鍵生成完整劇本、分鏡、人物對白與BGM，支持角色形象、音色與分鏡的自定義調(diào)整，并能夠自動將內(nèi)容轉換為1080P60幀的高清視頻，單次可生成視頻長度達180秒，相比Sora單次可生成60秒視頻、可靈單次可生成10秒視頻，有顯著突破。一鍵整合所有創(chuàng)作成果，極大提高視頻的創(chuàng)作效率，降低創(chuàng)作成本，推動“一人一劇”時代加速來臨。

在最終的影像生成環(huán)節(jié)，WorldEngine是業(yè)界首個將AI3D引擎與視頻大模型深度融合的創(chuàng)新平臺。這是一項劃時代的技術創(chuàng)新，WorldEngine以圖層融合技術為橋梁，打造出前所未有的3D與視頻混合創(chuàng)作模式。