abab 6.5-MiniMax稀宇科技发布的万亿参数MoE大 模型

abab 6.5是什么?

abab 6.5是国内 AI 初创企业 MiniMax 稀宇科技今日正式推出的 MoE 混合专家模型架构的系列大模型,核心能力开始接近 GPT-4、 Claude-3、 Gemini-1.5。

abab 6.5 系列包含两个模型:

abab 6.5:包含万亿参数,支持 200k tokens 的上下文长度;abab 6.5s:与 abab 6.5 使用了同样的训练技术和数据,但是更高效,支持 200k tokens 的上下文长度,可以 1 秒内处理近 3 万字的文本。abab 6.5-MiniMax稀宇科技发布的万亿参数MoE大 模型

abab 6.5的核心能力测试

性能对比:在知识、推理、数学、编程、指令遵从等维度上,abab 6.5开始接近GPT-4、Claude-3、Gemini-1.5等世界上最领先的大语言模型。

abab 6.5-MiniMax稀宇科技发布的万亿参数MoE大 模型

大海捞针测试:在200k token内进行的测试中,模型需要在长文本中识别并准确回答一个无关的句子(针)。在891次测试中,abab 6.5均能正确回答。

如何使用abab 6.5?

abab 6.5 和 abab 6.5s 会滚动更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台上。如果有兴趣,大家可以去试试。

发表回复

Your email address will not be published. Required fields are marked *.

*
*
You may use these <abbr title="HyperText Markup Language">HTML</abbr> tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>