Mistral AI 推出最新Mistral Large模型,性能仅次于GPT 4

时间:2024-04-16 10:28:13
• Mistral Large具有*的推理能力,适用于复杂的多语言推理任务,包括文本理解、转换和代码生成。

• 32K 令牌的上下文窗口,能够从大型文档中精确回忆信息。

• 精确的指令跟随能力,允许开发者设计他们的审核政策。

• 支持函数调用和限制输出模式,有助于规模化的应用开发和技术栈现代化。

• 原生支持英语、法语、西班牙语、德语和意大利语,对语法和文化背景有细腻的理解。

性能优良:

Mistral Large 在性能评测方面的结果显示了其在各个领域的优异表现,具体包括推理与知识、多语言能力、以及数学与编程任务的处理。以下是详细的性能评测结果:

1. 推理与知识:

Mistral Large 在常用的推理与知识基准测试中表现出色。在比较了GPT-4、Mistral Large(预训练)、Claude 2、Gemini Pro 1.0、GPT 3.5 和 LLaMA 2 70B 在 MMLU(Measuring Massive Multitask Language Understanding)等测试上的表现后,Mistral Large 展现了其*的推理能力。这些测试涵盖了常识、推理和知识的评估,Mistral Large 在这些领域的表现证明了其对复杂文本和问题的处理能力。

2. 多语言能力:

Mistral Large 以其原生的多语言能力在 HellaSwag、Arc Challenge 和 MMLU 基准测试中优于 LLaMA 2 70B,特别是在法语、德语、西班牙语和意大利语方面。这些测试评估了模型在不同语言环境下的理解和推理能力,Mistral Large 的表现突出,显示了其在处理非英语文本方面的强大能力。

3. 数学与编程任务:

在编程和数学任务上,Mistral Large 也展示了顶尖的表现。通过一系列流行的编程和数学基准测试,如 HumanEval pass@1, MBPP pass@1, Math maj@4, GSM8K maj@8(8-shot)和 GSM8K maj@1(5-shot),Mistral Large 证明了其在解决编程难题和执行数学运算方面的能力。这些结果表明 Mistral Large 不仅在文本理解和生成方面表现优异,也在技术性更强的领域如编程和数学中表现突出。

合作伙伴和模型部署:

Mistral Large 现已在 La Plateforme 和 Azure 上提供,也在 beta 助手演示器 le Chat 上展示。

此外,Mistral 还发布了一个为低延迟工作负载优化的新模型 Mistral Small。

Mistral Small,针对延迟和成本进行了优化。Mistral Small优于Mixtral 8x7B,延迟更低,与 Mistral Large 享有相同的创新,例如 RAG 启用和函数调用。

详细:https://mistral.ai/news/mistral-large/