昆仑万维开源国内首个面向AI短剧的视频生成模型
作者:
文少
责任编辑:刘沙
来源:
电脑商情在线
时间:2025-02-18 11:24
关键字:
昆仑万维 开源 短剧 视频生成模型 SkyReels-V1
2月18日,昆仑万维宣布开源国内首个面向AI短剧创作的视频生成模型SkyReels-V1,以及国内首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。
SkyReels-V1:
SkyReels-V1针对表演细节进行了打标,对情绪、场景和表演诉求等进行了处理,并利用“千万级别、高质量”的好莱坞级别数据进行训练微调。该模型可实现“影视级人物微表情表演生成”,支持33种人物表情和400多种自然动作组合,还原真人情感表达,包括大笑、怒吼、惊讶、哭泣等微表情。基于好莱坞级影视数据训练,SkyReels生成的每一帧画面在构图、演员站位、相机角度等方面都具备“电影级的质感”。
SkyReels-V1不仅支持文生视频,还支持图生视频,是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下,其各项指标可达到开源SOTA水平。在性能方面,借助自研推理优化框架“SkyReels-Infer”,该模型在544p分辨率下,基于单台4090显卡的推理用时为80秒,并支持分布式多卡并行。
SkyReels-A1:
为了生成更加精准可控的人物视频,昆仑万维开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1。该算法支持视频驱动的电影级表情捕捉。还能基于任意人体比例(包括肖像、半身及全身构图)生成人物动态视频。通过输入参考人物图片和驱动视频,SkyReels-A1可以将驱动视频中的面部表情和表演细节“移植”到给定参考图片的人物身上。