M2UGen-腾讯发布的多模态音乐生成模型

M2UGen是什么?

M2UGen是一个多模态音乐理解和生成模型的项目。该项目利用大型语言模型的能力,结合MU-LLaMA模型、MosaicML的MPT-7B-Chat模型、BLIP图像字幕模型和VideoMAE字幕模型,生成音乐相关的数据集,并使用M2UGen模型进行音乐生成和理解。

M2UGen可以做什么?

M2UGen模型具有以下功能:

文本到音乐生成:根据给定的文本生成相应的音乐。图像到音乐生成:根据给定的图像生成相应的音乐。视频到音乐生成:根据给定的视频生成相应的音乐。音乐编辑:对已有的音乐进行编辑和修改。M2UGen-腾讯发布的多模态音乐生成模型

如何体验M2UGen?

demo体验地址:https://crypto-code.github.io/M2UGen-Demo/

Previous Article
Next Article

发表回复

Your email address will not be published. Required fields are marked *.

*
*
You may use these <abbr title="HyperText Markup Language">HTML</abbr> tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>