轻松玩转书生·浦语大模型趣味 Demo——day2笔记

本节课有四个任务:学习部署、玩角色扮演的agent项目,玩数学运算agent、玩写作agent

 

主要学习过程就是跟着视频,复制学习文档里的资料,完成demo的使用。主要目的是熟悉开发平台。

视频:

轻松玩转书生·浦语大模型趣味 Demo_哔哩哔哩_bilibili

资料:

Tutorial/helloworld/hello_world.md at camp2 · InternLM/Tutorial (github.com)

 

jupyter lab,很舒服的界面

 

powershell连接成功后就没反应了。

这是连接成功了!
这是连接成功了!
这是连接成功了!
这是连接成功了!
这是连接成功了!

 
这是连接成功了!
这是连接成功了!
这是连接成功了!
这是连接成功了!

我等了一小时。还以为连接不上。

 

这个是任务3,可能会遇到一个困难。

这是成功的样子

 这是失败的样子,为什么呢?因为本地缺少模型。

 解决方式如下:

把这段代码替换掉download_mini.py

然后运行:python /root/demo/download_mini.py

import os
from modelscope.hub.snapshot_download import snapshot_download

# 创建保存模型目录
os.system("mkdir /root/models")

# save_dir是模型保存到本地的目录
save_dir="/root/models"

snapshot_download("Shanghai_AI_Laboratory/internlm2-chat-7b", 
                  cache_dir=save_dir, 
                  revision='v1.1.0')

  这样一来,本地就下好了我们所需要的模型internlm2-chat-7b

然后完成教程中,value的修改。

最后运行:streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

 

总结一下任务3遇到的问题和完整流程:

我们需要把7b模型下载到云盘里,于是需要运行上面粘贴的代码。这个代码形似任务一种下载1.8b模型的代码,只是做了一点修改。

完整流程:

1、按照教程里的步骤做

Tutorial/helloworld/hello_world.md at camp2 · InternLM/Tutorial (github.com)

conda activate demo

cd /root/demo

git clone https://gitee.com/internlm/lagent.git
# git clone https://github.com/internlm/lagent.git
cd /root/demo/lagent
git checkout 581d9fb8987a5d9b72bb9ebd37a95efd47d479ac
pip install -e . # 源码安装

cd /root/demo/lagent

2、然后修改download_mini.py的代码,再运行python /root/demo/download_mini.py

3、回到教程的步骤,

打开 lagent 路径下 examples/internlm2_agent_web_demo_hf.py 文件,并修改对应位置 (71行左右) 代码:

value='/root/models/internlm2-chat-7b'

streamlit run /root/demo/lagent/examples/internlm2_agent_web_demo_hf.py --server.address 127.0.0.1 --server.port 6006

4、最后按照先前的流程点开stream界面。

 

突然发现没有50%的A100.任务四没法做了。

任务五:挺厉害的

 

 

完美解答

 

终于成功啦

 

posted @ 2024-04-03 19:48  windiest  阅读(25)  评论(0编辑  收藏  举报