马斯克的xAI推出Grok-1.5:拥有更强逻辑推理能力和128K上下文窗口|TodayAI

人工智能新闻8个月前更新 TodayAI
2,930 0 0
PonderAI-智能助手

马斯克的xAI推出Grok-1.5:拥有更强逻辑推理能力和128K上下文窗口|TodayAI

伊隆·马斯克旗下的xAI公司近日宣布推出了Grok-1.5版本,该版本在逻辑推理能力上有了显著提升,并支持高达128,000个词汇的上下文长度。这一新版本将在接下来的几天内向𝕏平台的早期测试者和现有的Grok用户提供。

Grok-1.5在编码和数学相关任务上取得了显著的进步,成功超越了Mistral Large模型,在多项基准测试中名列前茅,包括MMLU、GSM8K和HumanEval等。

在测试中,Grok-1.5展现了卓越的性能,特别是在MATH基准测试中取得了50.6%的惊人成绩,在GSM8K基准测试中更是达到了90%的高分。这些测试覆盖了广泛的数学问题,充分展示了Grok-1.5的多才多艺和解决问题的能力。

除了数学任务外,Grok-1.5在HumanEval基准测试中也表现出色,得分为74.1%。该测试评估代码生成和问题解决能力,进一步突显了Grok-1.5全面的技能。

Grok-1.5的一个突出特点是其长上下文理解能力,能够处理高达128K词汇的上下文窗口。与以往模型相比,这一显著的增强使得Grok-1.5的内存容量提高了十六倍,允许它处理更长文档中的信息。

Grok-1.5的基础架构建立在自定义的分布式训练框架之上,该框架基于JAX、Rust和Kubernetes。这一强大的训练栈确保了训练任务的可靠性和正常运行时间,最大限度地减少了宕机时间,提高了大规模模型训练的效率。

随着xAI逐步将Grok-1的模型权重和网络架构向更广泛的受众推广,公司计划在未来几天为Grok 1.5引入多项新功能。

马斯克的xAI推出Grok-1.5:拥有更强逻辑推理能力和128K上下文窗口|TodayAI
© 版权声明

相关文章