我也玩大模型-私有化部署

　　chatGPT带火了整个AI，本来想让子弹飞会，但上上下下都在谈论，感觉很焦虑。那就试试吧。

1、选型，只有开源的才可能私有化部署，最终从最容易入手的（资料做多）：清华开源的chatGLM2-6B，毕竟现在是练手

2、项目：github上有，huggingface上也有，但不一样。完整的模型实现在huggingface，带着模型参数。

3、模型：模型可以通过安装git LFS后下载。也可以在clone huggingface上的工程后，用迅雷去huggingface上下载7个bin文件（11.6G），以及ice_text.model文件。这几个文件普通的git clone下来的是一个链接。huggingface上标注为LFS的都需要另外下，否则后面加载模型时会报错。另外，还可以从清华大学云盘上去下：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

4、依赖：根据github上的requirements.txt：protobuf transformers==4.30.2 cpm_kernels torch>=2.0 gradio mdtex2html sentencepiece accelerate sse-starlette。除非你非常清楚依赖之间的版本关系，否则请按要求的去做

5、完成部署：clone完huggingface项目，下载完模型参数，安装完依赖，就完成部署了。如果后面跑脚本报错，大概率是下载的文件不全或依赖没装全。

6、代码调用：假设项目部署在/home/app/chatglm-6b目录下，下面的代码将从本地加载模型，如果使用路径"THUDM/chatglm-6b"，将需要从huggingface加载模型，很可能因为网络问题而下载不了模型（11.6G的bin文件）。

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("/home/app/chatglm-6b", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("/home/app/chatglm-6b", trust_remote_code=True).half().cuda()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。

7、网页调用：github上的项目有个web_demo.py的脚本可以运行一个http服务，可以通过浏览器与模型对话。脚本注意一下几点编辑：

• 修改里面的模型位置为本地
• 最后一行demo.queue().launch(share=False, inbrowser=True, server_name='0.0.0.0', server_port=8860)指定端口，否则默认为127.0.0.1:7860
• 按脚本内提示启用可以多显卡支持

8、api调用：通过python3 api.py可以运行一个api的接口服务，脚本需要修改的配置同网页调用。