昆仑万维揭晓首个集成视频大模子与3D大模子的AI短剧平台SkyReels昆仑万维揭晓首个集成视频大模子与3D大模子的AI短剧平台SkyReels
8月19日,昆仑万维揭晓首个集成视频大模子与3D大模子的AI短剧平台SkyReels。SkyReels平台集脚本天生、脚色定造、分镜、剧情、对白/BGM及影片合成于一体,让创作家“一键成剧”,轻松创造高质料AI视频。
SkyReels平台集成了昆仑万维自研脚本大模子SkyScript、自研分镜大模子StoryboardGen、自研3D天生大模子Sky3DGen、以及业界首个将AI3D引擎与视频大模子深度协调的更始平台WorldEngine。
SkyReels可以通过AI一键天生完好脚本、分镜景观、人物对白与BGM,支撑脚色地步、音色与分镜的自界说调动,并可以主动将实质转换为1080P60帧的高清视频,单次可天生视频长度达180秒,比拟Sora单次可天生60秒视频、可灵单次可天生10秒视频,有明显打破。一键整合扫数创作结果,极大抬高视频的创作效用,下降创作本钱,胀励“一人一剧”时期加快到临。
同时,WorldEngine纠合了引擎的准确可控技能(如光照模仿、物理模仿、3D空间、及时交互等)以及AI视频大模子的幻念天生技能,供应了全新的线上搀杂视频创作形式,让视频创作从隐隐天生迈向加倍准确可控。
SkyReels的AI脚本天生功效基于昆仑万维自研脚本大模子SkyScript打造。为了让AI天生的脚本具备短剧的高繁茂爽点剧情,昆仑万维起初修建了亿级的高质料短剧机闭化数据集SkyScript-100M,该数据集针对海量英华短剧的剧情节律、爽点、心境变动举办了高质料标注;其次算法团队策画了渐进式天生的脚本天生框架,杀青了模子可以输出高度机闭化的英华脚本,无论是新手作家照样资深剧作者,都能通过它勉励创意,轻松创作出令人着迷的短剧脚本。
短剧创作的另一厉重闭头——分镜天生,则由昆仑万维自研分镜天生大模子StoryboardGen供应底层本事。StoryboardGen是昆仑万维创始的的基于DiT-MoE架构(基于Diffusion Transformer本事的Mixed-of-Experts搀杂专家架构)的分镜天生模子,可以杀青高密度分镜音信天生景观,大幅巩固视觉叙事表达技能。
输入脚本后,StoryboardGen模子会将脚本拆解玉成体与主体两片面,全体片面网罗场景、景别、构图等对分镜的集体描画,主体片面网罗脚色地步、行为人物脚色的定造,最终麇集至故事板(Storyboard)智能体天生完好分镜景观。StoryboardGen的专项多智能体架构,可以有用保障人物与场景的可控性和一律性,创造出高质料的工业级分镜。
正在最终的影像天生闭头,WorldEngine是业界首个将AI3D引擎与视频大模子深度协调的更始平台。这是一项划时期的本事更始,WorldEngine以图层协调本事为桥梁景观,打造出空前未有的3D与视频搀杂创作形式。
用户行使SkyReels天生AI视频时,能够对恣意元素自正在采取行使3D AI引擎天生或者视频大模子天生,该更始形式打破了此刻AI视频大模子时常显示的“穿模”、“反地心引力”等反物理次序地步,最大水平杀青了物理模仿的精采度与视频大模子的幻念创造力的完满协调。自此,AI视频天生大模子将从“隐隐负责”时期走向“准确可控”时期。
正在3D AI引擎方面,昆仑万维自研的Sky3DGen大模子可以天生多样化的3D元素和场景,从天然景观到他日都邑,从静态物体到动态脚色,并供应了及时的3D场景交互技能,使得用户能够即时看到调动和编纂的效益,加快创作流程。正在WorldEngine的加持下,用户还能够轻松修建3D虚拟影棚,杀青虚拟拍摄的梦幻体验。
昆仑万维AI短剧平台SkyReels的推出,标识着环球AI短剧创作的一次本事奔腾,它将对视频实质创作流程举办周详倾覆,让创作家从繁琐、庞杂的创造流程中解放出来,潜心于创意杀青与灵感表达,让“一人一剧”的梦念成为实际。
SkyReels AI短剧平台不只为专业实质创作家供应了宏大的创作东西,更极大地下降了AI短剧创作的门槛,使得非专业用户也能轻松上手。这一革命性的东西希望带来AI短剧用户天生实质(UGC)与专业用户天生实质(PUGC)的发作式伸长,为短剧实质生态注入空前未有的生气,胀励短剧实质创作与消费市集的进一步迅速伸长景观。
违法和不良音信举报电话: 举报邮箱:报受理和治理执掌宗旨总机:86-10-87826688昆仑万维公布首个集成视频大模子与3D大模子的AI短剧平台SkyReels景观