type
status
title
summary
slug
Created
Mar 17, 2024 07:07 AM
category
tags
Date
icon
password
马斯克的AI大模型Gork-1开源了！
在3月18号凌晨，马斯克旗下 的大模型公司
xAI 宣布正式开源 3140 亿参数的混合专家（MoE）模型「Grok-1」，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。老马果然信守承诺，不愧为当今时代的“源神”，大家快给老马刷火箭！
这是Gork-1的核心要点：
简单来说就是老马开源的这个大模型是由8个混合专家模型做的，一共有3140亿的参数，仅仅两个active的大小就有86B，超过了Llama2的参数大小（70B），他的开源协议是Apache 2.0，也就是你可以以几乎任何方式使用代码，包括商用。
不过要注意的是，他这个模型是
Base Model，没有经过调教，也就是说如何将它用于Chat可能效果没有那么理想。在老马的博客中也将这个模型和其他模型进行了对比
这个模型一共进行了四项基准测试，分别是：
- GSM8k：中学数学单词题（Cobbe et al.2021）
- MMLU：多学科选择题（Hendryks et al.2021）提供了5次上下文示例
- HumanEval：Python代码完成任务（Chen et al.2021）
- MATH：用LaTeX编写的中学和高中数学问题（Hendryks et al.2021）
可以看到，Gork-1的表现并不能说是最优，但胜在开源！
Gork-1开源的地址是：
虽然马斯克的Gork-1开源了，但其实普通人其实并没办法跑这个模型，因为经过网上大佬的测算，要跑这个模型需要 8 * 80G = 640G 的显卡，普通人有个12G的显卡就已经顶天了，更别说640G了！
而且我在Github上也看到，就算是 8 * 80G，也有可能会出现 OOM，也就是爆显存
如果你真的对跑模型很感兴趣，我在网上也看到一种方式，那就是租GPU服务器，但费用也不少，据说要几百块。
Gork-1的模型也不小，大概是320GB左右，相比于显卡的大小，还算能接受的一个范围之内，目前有多种方式可以下载这个模型- 磁链：magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
- HuggingFace：https://huggingface.co/xai-org/grok-1/tree/main
好了，今天就简单介绍到这里了，如果你对AI感兴趣，麻烦点点关注，我会持续更新AI相关的知识！
我是AI技术巫，欢迎关注我，掌握第一手AI资讯与技巧！
- 作者:AI技术巫
- 链接:https://ilovetech.cn/article/ai_gork_1
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。
