开源11天，马斯克再发grok

李淑颖 2024-03-30 13:24 493

"开源11天，马斯克再发grok,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。这篇报道的观点独到，让人眼前一亮。新闻的写作风格流畅，文笔优秀，让人容易理解。这篇报道的结构严谨，逻辑清晰，让人看了很舒服。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作开源11天，马斯克再发Grok-1.5，128K代码击败GPT-4新智元·2024-03-29 19:22关注128K上下文，Grok-1.5数学推理能力暴涨

马斯克「搞笑」模型刚刚升级到Grok-1.5，推理性能暴涨，支持128k长上下文。最重要的是，Grok-1.5的数学和代码能力大幅提升。

Grok-1官宣开源不过半月，新升级的Grok-1.5出炉了。

刚刚，马斯克xAI官宣，128K上下文Grok-1.5，推理能力大幅提升。

并且，很快就会上线。

11天前，Grok-1模型的权重和架构开源，展示了Xai在去年11月之前取得的进展。

Grok-1有3140亿参数，是Llama 2的4倍大，而且采用的是MoE架构，8个教授中2个是活跃教授。

Xai介绍，也就是从那时起，团队改进了最新模型Grok-1.5的推理和解决问题的能力。

OpenAI前开发者关系负责人表示，从xAI重大发布的时间可以看出他们(They)前进的步伐和紧迫感。令人振奋！

128K上下文，Grok-1.5数学推理能力暴涨

根据官方介绍，Grok-1.5改进了推理能力，上下文长度为128K。

Grok-1.5最显著的改进之一是，它在编码和数学相关任务中的表现。

在测试中，Grok-1.5在数学基准上取得50.6%的得分，在GSM8K基准上获得了90%，这两个数学基准涵盖了从小学(Primary School)到高中(High School)的各种竞赛问题。

此外，在评估代码生成和解决问题能力的HumanEval基准测试中，Grok-1.5获得了74.1%的高分。

从下图中，与Grok-1相比，可以看出Grok-1.5在数学方面的能力得到大幅提升，GSM8K上从62.9%改进到90，MATH上从23.9%提升到50.6%。

128K长语境理解，扩增16倍

Grok-1.5另一全新特点是，能够在其上下文窗口内处理高达128K token的文本。

这使Grok的内存容量，增加到以前上下文长度的16倍，从而使它能够利用(Use)更长的文档中的信息。

此外，新模型还可以处理更长和更复杂的提示，同时在其上下文窗口扩展时仍保持其指令跟随能力。

在Needle In A Haystack（NIAH）评估中，Grok-1.5 展示了强大的检索能力，可检索长度达 128K 字节的上下文中的嵌入文本，并取得了完美的检索结果(Result)。

Grok-1.5基础设施

Grok-1.5构建在基于JAX、Rust和Kubernetes的定制分布式训练框架之上。

这个训练堆栈可以让xAI团队能够以最少的投入，大规模构建创意，以及训练新的架构。

在大型计算群集上进行(Carry Out)训练LLM的一个主要挑战是，最大限度地提高训练任务的可靠性和正常运行时间。

xAI定制的训练编排器，可确保自动检测有问题的节点，并将其从训练任务剔除。

与此同时，他们(They)还优化了检查点、数据加载和训练任务的重启，以最大限度地减少发生故障时的停机时间。

xAI表示，Grok-1.5将很快提供给早期测试者，以帮助改进模型。

博客还预告了Grok-1.5将在将来几天里推出几个新功能。

最后，xAI还是一如既往地po出了招募信息。

参考资料

https://x.ai/blog/grok-1.5

本文来自微信公众号“新智元”（ID:AI_era），作者：桃子好困，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

+13

好文章，需要你的鼓励

新智元特邀作者2收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章一年半过去后，AI的“iPhone时刻”仍然没有到来AI 2.0时代，商汤靠什么「突围」？丨氪金2024福布斯祖国消费级AI应用体坛AI大模型来了，低代码还有机会吗？你正在看的短视频(Short Video)，文案翻译出镜剪辑全都是AI“双面”AIGC：变脸、界线与博弈最强开源大模型再度易主，这家初创公司是如何做到的？DeepMind终结大模型幻觉？标注事实比人类靠谱、还便宜20倍，全开源马斯克大模型Grok1.5来了：推理能力大升级，支持128k上下文最新文章推荐天水火了，我发现只有一条航线可达一年半过去后，AI的“iPhone时刻”仍然没有到来跑腿成为香饽饽，网约车平台似乎找到了新战场云存储并非灵丹妙药，大容量电话才是更好的选择小米汽车(Car)“交作业”，雷军的金融棋局落下最后一子又一20亿级美妆品牌要IPO了昔日币圈大佬SBF案落幕：25年监禁，110亿美元罚金前币圈大佬SBF获刑25年，有关他的“剩余人生”还有一个重要变数老工业城市，组团抄作业声音电波从未消失

新智元特邀作者

作者有点忙，还没写简介

发表文章2020篇最近内容开源11天，马斯克再发Grok-1.5，128K代码击败GPT-438分钟前Mamba超强进化体一举颠覆Transforme，单张A100跑140K上下文3小时前台积电董事长预测：将来15年每瓦GPU性能提升1000倍，GPU晶体管数破万亿3小时前阅读更多内容，狠戳这里下一篇祖我国长最爱的铁饭碗，博士都干不动了

高校“青椒”，困在“非升即走”里

38分钟前

热门标签成都货运微信拍卖艺术品电商陶金多校划片西城学区划片存量土地国人的名义北平无战事琅琊榜吸血鬼日记潜伏素食芈月传生意经潮牌橱窗堡垒之夜网贷银行存管协会汇率欧元固定汇率广州酒家月饼西府海棠茂业紫光控方证人狗刚需关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴