Pyramid-Flow是什么?
Pyramid-Flow是由快手、北京大学和北京邮电大学联合组建的研究团队推出的开源超高清视频生成模型,该模型能根据文本描述生成最长 10 秒、分辨率高达 1280×768、帧率 24fps 的高质量视频。
Pyramid Flow 文生视频模型主要面向开发者、艺术家和创作者等,提供更高效、更灵活的视频生成解决方案,目前已经在 Hugging Face 平台上线,并完全开源。
Pyramid Flow 的视频示例
Pyramid Flow 的核心特点
高效生成:Pyramid Flow 采用新技术,通过统一 AI 模型分阶段生成视频,大多数阶段为低分辨率,只有最后阶段为全分辨率。这种“金字塔流匹配”方法保持了视频的高视觉质量前提下,大幅降低了计算成本,tokens 数量是传统 diffusion 模型的四分之一。快速推理:在推理过程中,该模型可以在 56 秒内生成一个 5 秒、384p 的视频,速度媲美许多全序列 diffusion 模型,甚至更快。开源和商业使用:Pyramid-Flow 在 MIT 许可证下发布,允许广泛的使用,包括商业应用、修改和再分发,吸引了希望将模型集成到专有系统中的开发者和公司。
如何使用Pyramid Flow?
Pyramid Flow发布了论文,开源了代码、模型,提供了在线体验demo:
Pyramid Flow项目官网:https://pyramid-flow.github.io/Pyramid Flow在线体验demo:https://huggingface.co/spaces/Pyramid-Flow/pyramid-flowPyramid Flow论文地址:https://arxiv.org/pdf/2410.05954GitHub代码:https://github.com/jy0205/Pyramid-Flow;Hugging Face模型下载:https://huggingface.co/rain1011/pyramid-flow-sd3