伊隆·马斯克旗下的xAI公司近日宣布推出了Grok-1.5版本,该版本在逻辑推理能力上有了显著提升,并支持高达128,000个词汇的上下文长度。这一新版本将在接下来的几天内向𝕏平台的早期测试者和现有的Grok用户提供。
Grok-1.5在编码和数学相关任务上取得了显著的进步,成功超越了Mistral Large模型,在多项基准测试中名列前茅,包括MMLU、GSM8K和HumanEval等。
在测试中,Grok-1.5展现了卓越的性能,特别是在MATH基准测试中取得了50.6%的惊人成绩,在GSM8K基准测试中更是达到了90%的高分。这些测试覆盖了广泛的数学问题,充分展示了Grok-1.5的多才多艺和解决问题的能力。
除了数学任务外,Grok-1.5在HumanEval基准测试中也表现出色,得分为74.1%。该测试评估代码生成和问题解决能力,进一步突显了Grok-1.5全面的技能。
Grok-1.5的一个突出特点是其长上下文理解能力,能够处理高达128K词汇的上下文窗口。与以往模型相比,这一显著的增强使得Grok-1.5的内存容量提高了十六倍,允许它处理更长文档中的信息。
Grok-1.5的基础架构建立在自定义的分布式训练框架之上,该框架基于JAX、Rust和Kubernetes。这一强大的训练栈确保了训练任务的可靠性和正常运行时间,最大限度地减少了宕机时间,提高了大规模模型训练的效率。
随着xAI逐步将Grok-1的模型权重和网络架构向更广泛的受众推广,公司计划在未来几天为Grok 1.5引入多项新功能。
© 版权声明
TodayAI. 版权所有。本文为TodayAI科技媒体原创文章,受法律保护。未经TodayAI明确书面许可,任何机构及个人不得转载、摘编或以其他方式使用本文内容。如需转载或获取授权,请联系我们。
对于合理使用的情况(如引用、评论、教学等),请遵循相关法律规定,并确保注明文章来源和作者姓名。