近年来,随着人工智能技术的飞速发展,生成模型在视觉内容创作领域展现出前所未有的潜力。特别是在视频生成方面,传统方法往往面临着高计算成本、分辨率限制以及动作连续性欠佳等问题,难以满足实际应用需求。针对这些挑战,FoundationVision团队推出了Waver 1.0 - - 一款集文本到视频(T2V)、图像到视频(I2V)和文本到图像(T2I)生成功能于一体的统一基础模型。Waver凭借其先进的算法设计和高质量的生成效果,为业界带来了极具革命意义的创新解决方案。Waver 1.0的核心优势之一在于其基于rectified flow Transformers的架构,结合了Wan-VAE技术有效压缩视频潜空间,使模型在保证高生成质量的同时,实现了高效的计算性能。通过融合集成flan-t5-xxl和Qwen2.5-32B-Instruct两种文本特征提取器,Waver能够精准理解并表达多样化的文本指令,促使生成内容更贴合用户需求。
该模型采用双流(Dual Stream)与单流(Single Stream)结合的方式,实现视频与文本模态的深度融合,支持多任务的联合训练,使得文本到视频和图像到视频生成在同一框架下顺畅进行,提高了训练和推理的灵活性。Waver对视频分辨率和时长的适应能力体现了其极强的实用价值。模型支持最高1080p的高清视频生成,并能根据需求灵活调整分辨率、宽高比以及视频长度(2至10秒),满足从社交媒体内容制作到专业影视特效等多样化场景。值得注意的是,Waver的级联修复器(Refiner)设计极大优化了高分辨率视频生成流程。通过先生成低分辨率视频并加噪音,然后由专门训练的修复器将其精细提升至1080p质量,这种两阶段生成方式显著减少了计算资源消耗,同时保证了视频细节的丰富与运动的连贯。另一方面,为了提升视频内容在运动捕捉方面的真实性和连贯性,Waver针对复杂大幅度动作制定了专门的训练策略。
其训练过程采用了先低分辨率(192p)后逐步提升至720p的阶梯式增长方案,有效帮助模型理解与再现多种动态轨迹。特别是在运动幅度和时间一致性的表现上,Waver已经达到了领先水平,这在诸如体育动作模拟、动态物体跟踪等应用领域意义重大。为了全面衡量Waver的性能,FoundationVision团队推出了Waver-Bench 1.0和Hermes Motion Testset两个基准测试。前者覆盖运动、日常活动、风景、动物、机械、超现实主义场景等多样样本,后者聚焦于包含篮球、体操、划船、拳击、马术等32种体育动作的复杂动态场景。评测结果显示,Waver在运动质量、视觉质量和文本提示遵循度等方面均优于现有开源及部分闭源模型,证实了其技术领先性。在模型训练中,FoundationVision团队还引入了创新的提示词标注(prompt tagging)技术,用以区分训练数据中的视频风格和质量类别。
模型在训练时,会将包含风格描述的前缀和质量描述的后缀附加到文本提示中,使得Waver在推理阶段能够通过负面提示有效避免低质量或不理想效果,同时支持多风格切换,如真实风格、吉卜力动漫风格、3D动画风格和迪士尼动画风格等多种视觉表现,满足不同用户的审美和创作需求。为了提升生成视频的视觉真实感和减少瑕疵,Waver采用了扩展条件引导采样(APG)技术,巧妙地分解采样过程中的更新项,针对平行和正交分量进行不同权重调整,从而避免过度饱和和其他常见问题。团队通过在潜空间归一化处理方面的经验总结发现,针对特定维度的归一化设计能够显著减少图像生成中的伪影和噪声,使输出效果更加细腻自然。综合以上技术特征,Waver不仅展现出极佳的生成质量和多模态融合能力,还通过合理的体系设计保证了推理速度和资源利用效率,为工业应用提供了坚实保障。比如在广告创意、虚拟现实内容制作、电影特效生成以及智能监控画面合成等领域,Waver的高质量视频生成能力能够显著降低人工成本、缩短制作周期,同时为视觉内容带来更多创意表现力。此外,Waver的开源社区和技术报告也为研究者和开发者提供了丰富资源,为推动基础视频生成技术的普及和创新创造了良好生态环境。
随着未来算力的进一步提升和多模态模型的持续演进,类似Waver这样融合高性能和多功能于一体的基础模型将成为行业标杆,引领视频生成技术从以往的实验室原型,逐步走向广泛商业化应用。总体来看,Waver 1.0通过其独特的rectified flow Transformer架构、高级训练技巧和高效推理机制,在视频生成领域树立了新的技术高度。它不仅解决了传统模型在分辨率和动作持续性上的局限,还带来了多模态融合的灵活性与可扩展性,大大促进了视频内容创新和视觉艺术的发展。展望未来,随着更多科研力量的加入和算法优化的深入,Waver及其后续版本有望在更广泛的应用场景中发挥更大作用,推动智能视频生成迈入一个更加精彩纷呈的新时代。 。
