马斯克开源大模型Grok-1,手把手教你如何使用
马斯克一直在指责OpenAI没有开源,终于开源自家的大模型Grok-1,也把压力给到了OpenAI
GitHub链接:https://github.com/xai-org/grok-1
![](https://s3.cn-north-1.jdcloud-oss.com/shendengbucket1/2024-03-19-18-13E96c23UgPtuRblbO.png)
居然短短一天就有29k的star!
Grok-1的模型参数:
•Parameters: 314B
•Architecture: Mixture of 8 Experts (MoE)
•Experts Utilization: 2 experts used per token
•Layers: 64
•Attention Heads: 48 for queries, 8 for keys/values
•Embedding Size: 6,144
•Tokenization: SentencePiece tokenizer with 131,072 tokens
•Additional Features: Rotary embeddings (RoPE)
•Supports activation sharding and 8-bit quantization
•Maximum Sequence Length (context): 8,192 tokens
第一步:下载模型权重
用户需要确保先下载 checkpoint,并将 ckpt-0 目录放置在 checkpoint 中。
模型权重约为 296.38 GB,如下图,要注意自己磁盘的容量
![](https://pic1.zhimg.com/80/v2-616b22bb581f6f8900427b303d18cb92_1440w.png)
![](https://files.mdnice.com/user/15338/91d1bf1a-cbf9-4559-9f9b-c1994c8533d8.png)
有下面两种下载方法
1.可以使用 torrent 客户端和此磁力链接下载权重
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
2. 直接使用HuggingFace
链接 https://huggingface.co/xai-org/grok-1
HuggingFace上面有很多预训练模型(如GPT,BERT),也有很多数据集,十分强大 ,推荐大家使用
执行下面的代码
git clone https://github.com/xai-org/grok-1.git && cd grok-1pip install huggingface_hub[hf_transfer]huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
第二步:运行大模型
安装依赖环境,执行代码
pip install -r requirements.txt
requirements.txt的文件内容:
dm_haiku==0.0.12
jax[cuda12_pip]==0.4.25 -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
numpy==1.26.4
sentencepiece==0.2.0
然后执行代码
python run.py
注意:硬件要求多大呢?
由于模型规模较大(314B参数),需要有足够GPU、内存的机器才能使用示例代码测试模型。
那具体需要多大呢?
这个也是提的比较多的问题,有人给出了回复,但暂时未确认
由于由于the mesh shape assertion(1, 8),因此需要 8 个 GPU。要以本机大小运行,您可能需要 8x80GB GPU (A100 80GB / H100GB)。
![](https://files.mdnice.com/user/15338/df57e46a-0ea5-49dd-9c94-3c1e2ffb0f36.png)
![](https://picx.zhimg.com/80/v2-9108078d1dc92247d0d643dbfec8278c_1440w.png)
详见issue:https://github.com/xai-org/grok-1/issues/62
容易出现的问题
大家遇到比较多的是下载问题,比如种子无法下载
![](https://files.mdnice.com/user/15338/27266361-7b2a-4fd4-8d88-e54a57fb61af.png)
![](https://pic1.zhimg.com/80/v2-36fc2294a2fc3f180fcd4babc1edcd48_1440w.png)
还有硬件资源的问题,毕竟需要的gpu和内存太高了,对于个人来说成本太高了,个人没法玩了啊
![](https://pic1.zhimg.com/80/v2-513577f2ed806911d0533cb5c47b0c32_1440w.png)