近日，Mistral AI 在名为 Cerebral Valley 的黑客松活动上，突如其来地公布了最新的模型更新，令参会者纷纷拿起手机记录这一刻。
此次更新的核心为 Mistral 7B v0.2 基础模型，它是 Mistral-7B-Instruct-v0.2 的底层预训练模型，属于该公司” Mistral Tiny” 系列的一部分。更新内容主要包括将上下文容量从 8K 提升至 32K、调整 Rope Theta 参数至 1e6，并取消了滑动窗口功能。
更新后的 Mistral 7B 在同等级别中的性能已遥遥领先，众多开发者纷纷表示将在此模型上进行进一步微调。Mistral AI 的首个 7B 模型于 2023 年 9 月发布，已在多项基准测试中超越 Llama 2 13B，一举成名。
随着 Mistral 7B v0.2 基础模型的开放，开发者们现在可以根据自己的需求对这一”目前最佳的 7B 模型”进行定制微调。值得注意的是，7B 模型只是 Mistral AI 众多成果中的一项。该公司的长期目标是与 OpenAI 竞争。
上个月，Mistral AI 发布了旗舰大模型 Mistral Large，性能更强大，体量更庞大，直接与 OpenAI 的 GPT-4 竞争。随着 Mistral Large 的发布，Mistral AI 推出了与 ChatGPT 竞争的聊天助手 Le Chat。
Mistral Large 的发布标志着 Mistral AI 的一次战略转型。与以往的开源模式不同，Mistral Large 并没有提供下载链接。此外，Mistral AI 与微软签署了长期合作协议，微软将为 Mistral AI 提供 Azure 超级计算基础设施支持，并在 Azure AI Studio 和 Azure 机器学习模型目录中向客户提供 Mistral AI 的高级模型。
Mistral AI 表示，尽管公司起初采取了开源模式，但他们也提供了一种商业模式，旨在通过优化模型为昂贵的研究提供资金。这次更新和战略调整，无疑将进一步激发 AI 大模型领域的竞争和创新。
相关文章
