今天凌晨，马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家MoE模型Grok-1，以及模型的权重和网络架构。让Grok-1成为了如今参数量最大的开源大语言模型。

作为一个彩蛋，xAI表示，这则新闻的封面图也就是上图是根据Grok提示，使用Midjourney生成的，提示词为：“神经网络的3D插图，具有透明节点和发光连接，以不同粗细和颜色的连接线展现不同的权重A3Dillustrationofaneuralnetwork，withtransparentnodesandglowingconnections，showcasingthevaryingweightsasdifferentthicknessesandcolorsoftheconnectinglines.。”

而开源Grok后，马斯克也在第一时间对竞争者OpenAI进行了“关心”：“我们想了解更多OpenAI的Open开放部分。”

根据xAI官方公布的消息，我们可以看到Grok-1的三大特点：

基于大量文本数据对基础模型进行训练，没有对任何特定任务进行微调；

3140亿参数的MoE模型混合专家模型，在给定token上的激活权重为25%；

从2023年10月开始，xAI使用JAX库和Rust语言组成的自定义训练堆栈对Grok进行了从头训练。

xAI遵守Apache2.0许可证来开源Grok-1的权重和框架，如果你拥有Apache2.0的许可证，不论个人还是商业用途，你都可以自由使用、修改、分发软件，截止发文，已经收获了7.7k星标，热度极高。

xAI在项目中强调，如果你想顺利测试如此规模的模型，需要CPU拥有足够的内存，有用户给出了参考：拥有8个H100就可以顺利运行Grok-1模型了。

Grok-1是马斯克xAI团队去年11月推出的一款大语言模型，xAI表示，Grok是一款仿照银河系漫游指南设计的AI，它几乎可以回答任何问题，甚至可以建议你问什么问题，它幽默诙谐又叛逆，可以回答其他AI系统拒绝回答的问题。

另外，为了防止Grok-1针对试题训练，xAI还针对匈牙利国家高中数学考试进行了测试，同样优于GPT-3.5。

现在，Grok-1已经在X平台引发了不少讨论，但开源版的Grok依然有一些功能需要付费才可以实现，不过随着Grok的不断更新、开源，相信xAI会为我们带来更多惊喜。