什么？ 20分钟，构建你自己的LLaMA3应用程序！ | 京东云技术团队

4月19日，Meta发布了最新的大语言模型LLaMA3，具体包括一个 8B 模型和一个 70 B 模型，上下文长度支持8K， 被誉为史上最强开源大语言模型，开源社区的“重磅炸弹”，效果直指GTP4。在诸多评测任务上，LLaMA3都有非常炸裂的效果。 8B模型在多项指标中超越了Gemma 7B和Mistral 7B Instruct，而70B模型则超越了闭源的Claude 3 Sonnet，和Gemini Pro 1.5。具体的评测报告可以参见：
https://github.com/meta-llama/llama3/blob/main/eval_details.md

由于Llama 3 选择了相对标准的纯解码器 Transformer 架构，根据各方信息推测，性能提升主要来自数据质量的提升。一是使用了15T的预训练数据，相比Llama 2提高了7倍，并且大幅提高了代码的使用量，以增强模型的推理能力。二是使用了词汇量为128K的标记器，相比Llama 2使用的 32K 标记器，改善了标记化的粒度。另外，在8B 和 70B 大小的模型上采用了分组查询注意力 (GQA)，提高了Llama 3的推理效率。

开源社区对此反响强烈，短短5天，Hugging Face上已经有了1000多个变种，而且数字还在持续增长。

 

面对AI行业一波又一波的巨大事件，我们在赞美和焦虑之外，能做点什么呢？虽说不上躬身入局，但总想让稍微感受一下AI巨浪带来的点点涟漪。不是有句老话说得好么，不是AI取代人类，而是懂AI的人取代不懂AI的人。

于是我用百度找到了LLaMA3的体验地址：https://www.meta.ai/。但当我在浏览器输入并等待了10分钟后，我放弃了..... 网络问题，无情的阻碍了我进步的脚步。 我再次打开百度，想试试能不能在本地安装一个LLaMA3，但当我看到60G的模型大小，以及昂贵的GPU算力，以及各种程序报错时，我又一次知难而退了。是坚持，还是放弃，这是个问题。。。。。

 

直到，我在京东云上看到了这个产品.....

什么？ 20分钟，构建你自己的LLaMA3应用程序！

于是，我打开手机计时器，开始了我寻找AI浪花之旅

第一步，进入京东智算服务控制台：
https://gcs-console.jdcloud.com/instance/list

第二步，点击创建按钮购买GPU实例，注意计费方式一定选择 “按配置” ，就是按使用时长进行计费，一个小时才1.89，充值2块钱，就能玩2个小时，真是良心。 点击“立即购买”下单。

第三步，在实例列表页面，等待实例状态变为“运行中”，然后点击Jupyter进入AI的开发环境。

 

第四步，在Jupyter页面中，点击进入Terminal终端，执行如下命令：

cp -r /gcs-pub/llama-factory/ /data/

 

第五步：在左侧的目录树中，找到
llama-factory/src/web_demo.py文件，双击打开，然后把server_port修改为28888，Ctrl+S保存这个修改。

 

第六步：再次打开刚才的终端，分别执行下面几行命令：

cd /data/llama-factory 
conda create -n liandan python=3.10 -y
conda activate liandan
pip install -e .[metrics]
CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3

这个平台的特点是速度特别快，比其他平台都快，几分钟后，我看到了胜利的曙光...

 

第七步： 在控制台实例列表页面（
https://gcs-console.jdcloud.com/instance/list），点击该实例的最后一栏，操作-应用-自定义应用，于是乎，LLaMA3就显出了原型。

听说这个平台还能无代码直接启动文生图应用，等下次我再试试吧，现在要迫不及待的开始调戏LLaMA3啦，完美！

作者：京东科技 麻酱

来源：京东云开发者社区